[論文レビュー] A Problem-Specific Fault-Tolerance Mechanism for Asynchronous, Distributed Systems

Adriana Iamnitchi, Ian Foster|ArXiv.org|Mar 12, 2000

Distributed systems and fault tolerance参考文献 23被引用数 8

ひとこと要約

本論文は、不安定で機会的（opportunistic）なネットワーク上で実行される非同期で分散型の分枝限定法アルゴリズム向けに、問題固有のフェイルセーフメカニズムを提案する。問題空間の木構造を利用し、メンバーーシップ管理および障害回復にエピデミック通信を用いることで、すべてのリソースのうち1つを除いて障害が発生しても正しさと終了性が保証される。完全分散化と低コストの障害検出により、スケーラビリティを達成する。

ABSTRACT

The idle computers on a local area, campus area, or even wide area network represent a significant computational resource---one that is, however, also unreliable, heterogeneous, and opportunistic. This type of resource has been used effectively for embarrassingly parallel problems but not for more tightly coupled problems. We describe an algorithm that allows branch-and-bound problems to be solved in such environments. In designing this algorithm, we faced two challenges: (1) scalability, to effectively exploit the variably sized pools of resources available, and (2) fault tolerance, to ensure the reliability of services. We achieve scalability through a fully decentralized algorithm, by using a membership protocol for managing dynamically available resources. However, this fully decentralized design makes achieving reliability even more challenging. We guarantee fault tolerance in the sense that the loss of up to all but one resource will not affect the quality of the solution. For propagating information efficiently, we use epidemic communication for both the membership protocol and the fault-tolerance mechanism. We have developed a simulation framework that allows us to evaluate design alternatives. Results obtained in this framework suggest that our techniques can execute scalably and reliably.

研究の動機と目的

• インターネットのような信頼性の低い、異種で機会的な分散環境において、密接に結合された分枝限定問題を信頼性を持って実行することを目的とする。
• リソース利用状況が動的に変化する完全分散型システムにおいて、スケーラビリティとフェイルセーフの二重の課題に取り組むこと。
• 問題空間の固有の構造を活用することで、すべてのプロセッサのうち1つを除いて障害が発生しても、解の正しさを保証するフェイルセーフメカニズムを設計すること。
• 変動するネットワーク状態や障害条件下でのアルゴリズムの性能を評価するためのシミュレーションフレームワークを開発すること。

提案手法

• 中央集権的制御なしに、動的に利用可能な信頼性の低いリソースにスケーラブルに拡張可能な完全分散型分枝限定アルゴリズムを設計する。
• グループメンバーシップ管理およびフェイルセーフ伝搬にエピデミック通信を用い、効率的で耐障害性の高い情報伝達を実現する。
• 障害検出は定期的な作業報告を通じて行い、失われた部分問題は生存するノードに再配分することで回復する。
• すべての展開済み部分問題が完了したことを監視することで終了検出を達成し、正しく最終的な出力を保証する。
• MPEおよびclogログファイルに基づくシミュレーションフレームワークを用い、Jumpshotを用いて実行時プロファイリングと挙動可視化を可能にする。
• 探索空間の木構造を活用した問題固有の回復戦略を採用することで、重複計算を回避し、正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 完全分散型で非同期な分散システムにおいて、信頼性の低い、動的に変化するリソースを備えた環境で、フェイルセーフをどのように達成できるか。
• RQ2 一般の中間ソフトウェアベースのフェイルセーフと比較して、問題固有のフェイルセーフメカニズムは、効率性と単純性の面でどの程度優れているか。
• RQ3 エピデミック通信は、大規模で機会的なコンピューティング環境において、スケーラブルで信頼性の高いメンバーシップ管理および障害検出をどのように支援するか。
• RQ4 ネットワーク特性や障害パターンは、提案されたフェイルセーフメカニズムの性能とオーバーヘッドにどのような影響を与えるか。
• RQ5 高い障害率下でも、正しさを保証しながら、良好な負荷分散と低い通信コストを維持できるか。

主な発見

• すべてのリソースのうち1つを除いて障害が発生しても、システムは依然として正しい解を出力できるため、フェイルセーフ性が達成されている。解の品質が保たれている。
• 通信コストは合理的な水準に保たれており、100プロセッサで43MBのストレージ領域しか必要としないことから、低コストのストレージオーバーヘッドであることが示された。
• 最適化が施されていないにもかかわらず、シミュレーションでは良好な性能を示しており、初期テストでは重複作業の著しい増加は観察されなかった。
• プロセッサ数が増えるにつれて、アイドル期間が長くなるため、1プロセッサあたりの作業報告数は増加するが、性能に深刻な悪影響は及ばない。
• 問題の粒度を粗くすると負荷分散が向上するが、固定間隔での作業報告のため、不要な通信が増加する。
• シミュレーション結果から、実行時メトリクス（例：部分問題あたりの実行時間）に基づいたアダプティブなメッセージ送信頻度の導入により、さらなるスケーラビリティ向上が可能であると考えられる。