[論文レビュー] SafeMPI - Extending MPI for Byzantine Error Detection on Parallel Clusters

Dmitry Mogilevsky, Sean Keller|ArXiv.org|May 31, 2005

Fault Detection and Control Systems被引用数 5

ひとこと要約

SafeMPI は、軽量なコンセンサス問題への挑戦と結果の比較を通じて、並列クラスタにおける不正または誤った動作を検出できるように、MPI を Byzantine 故障検出機能で拡張する。この手法は小規模クラスタでは低コストであり、停止故障、一時停止故障、Byzantine 故障のすべてのモデルをサポートしており、サブリング分解を用いたスケーリングの可能性を有する。

ABSTRACT

Modern high-performance computing relies heavily on the use of commodity processors arranged together in clusters. These clusters consist of individual nodes (typically off-the-shelf single or dual processor machines) connected together with a high speed interconnect. Using cluster computation has many benefits, but also carries the liability of being failure prone due to the sheer number of components involved. Many effective solutions have been proposed to aid failure recovery in clusters, their one significant downside being the failure models they support. Most of the work in the area has focused on detecting and correcting fail-stop errors. We propose a system that will also detect more general error models, such as Byzantine errors, thus allowing existing failure recovery methods to handle them correctly.

研究の動機と目的

• 既存の信頼性の高いシステムが停止故障または一時停止故障モデルにのみ対応しているという限界を解決すること。
• ノードが悪意を持って動作する、または誤った出力を生成する Byzantine 故障を、完璧な故障検出メカニズムに依存せずに検出すること。
• 大規模な MPI ベースのクラスタにおける不正なノードを診断するための実用的で低コストな方法を提供すること。
• 標準 MPI を、停止故障、一時停止故障、Byzantine 故障の3つの主要な故障モデルをすべてサポートする故障検出レイヤーで拡張すること。
• 既存の回復メカニズム（例：ロールバック、リロケーション）が、Byzantine 故障を早期に検出できることで正しく反応できるようにすること。

提案手法

• SafeMPI は、各 MPI プロセスが単純で代表的な計算問題を解くように挑戦する、軽量なコンセンサスアルゴリズムを導入する。
• すべてのノードからの結果を比較して、不正な動作を示す乖離を検出する。
• 挑戦の伝播と応答収集にリングベースの通信パターンを用い、分散型の合意確認を可能にする。
• 故障検出はノード間の出力比較によって実施され、結果の不一致が検出されると回復エージェントにアラートが発行される。
• この手法はノードレベルの故障だけでなく、整合性チェックによる通信ネットワークの問題も検出可能である。
• MPI の上に構築された汎用的でアプリケーションに依存しない検出レイヤーを用いることで、アルゴリズム固有の強化を回避する。

実験結果

リサーチクエスチョン

• RQ1 MPI ベースのクラスタで、アプリケーションに依存しない軽量な方法で Byzantine 故障を検出できるか？
• RQ2 従来の停止故障検出と比較して、Byzantine 故障検出の性能的オーバーヘッドはどの程度か？
• RQ3 クラスタ内のノード数の増加に伴い、検出メカニズムはどのようにスケーリングするか？
• RQ4 一時的かつ恒久的な故障（ハードウェア欠陥や悪意ある動作によって引き起こされるものも含む）を検出できるか？
• RQ5 標準 MPI に Byzantine 故障検出を統合することは、アプリケーションレベルの変更なしに可能か？

主な発見

• SafeMPI は、ノードが軽量なコンセンサス問題を解くように挑戦することで、MPI クラスタにおける Byzantine 故障を成功裏に検出する。
• この手法は停止故障、一時停止故障、Byzantine 故障の検出をサポートしており、停止故障仮定に依存するモデルよりもより堅牢である。
• 小規模クラスタではオーバーヘッドが低く抑えられ、実用的環境での実現可能性が示された。
• グローバルリング構造における通信および調整コストの増加により、大規模クラスタへのスケーリングは依然として課題である。
• サブリング分解が、オーバーヘッドを低減しスケーラビリティを向上させる有効な最適化手法であると提案される。
• ノードレベルの故障に加え、通信ネットワークの故障も検出可能であり、全体のクラスタ信頼性が向上する。