[論文レビュー] MPICH-G2: A Grid-Enabled Implementation of the Message Passing Interface

Nicholas T. Karonis, Brian Toonen+1 more|ArXiv.org|Jun 25, 2002

Distributed and Parallel Computing Systems参考文献 33被引用数 11

ひとこと要約

MPICH-G2 は、MPI-1 標準のグリッド対応実装であり、Globus Toolkit を活用して、異種で地理的に分散したリソース間で MPI アプリケーションをシームレスに実行可能にする。認証、リソース割り当て、プロセス管理のための Globus サービスを統合することで、ユーザーは標準的なコマンドで MPI プログラムを実行でき、ネイティブに近いパフォーマンスを達成し、ネットワークトポロジーおよびサービス品質（QoS）のアプリケーションレベルでの管理を可能にする。

ABSTRACT

Application development for distributed computing "Grids" can benefit from tools that variously hide or enable application-level management of critical aspects of the heterogeneous environment. As part of an investigation of these issues, we have developed MPICH-G2, a Grid-enabled implementation of the Message Passing Interface (MPI) that allows a user to run MPI programs across multiple computers, at the same or different sites, using the same commands that would be used on a parallel computer. This library extends the Argonne MPICH implementation of MPI to use services provided by the Globus Toolkit for authentication, authorization, resource allocation, executable staging, and I/O, as well as for process creation, monitoring, and control. Various performance-critical operations, including startup and collective operations, are configured to exploit network topology information. The library also exploits MPI constructs for performance management; for example, the MPI communicator construct is used for application-level discovery of, and adaptation to, both network topology and network quality-of-service mechanisms. We describe the MPICH-G2 design and implementation, present performance results, and review application experiences, including record-setting distributed simulations.

研究の動機と目的

• ユーザーのコードを変更することなく、異種で広域に分散した分散システム間で MPI アプリケーションを透明に実行すること。
• MPI が既存の構造を活用して、ネットワークトポロジーおよびサービス品質（QoS）を含むグリッド環境における異種性を効果的に管理できるかどうかを調査すること。
• MPI が、従来の密結合クラスタでの利用にとどまらず、グリッドコンピューティングの実用的で効率的なプログラミングモデルとして機能できるかどうかを評価すること。
• 標準的な MPI インターフェースおよびツールとの互換性を維持しながら、広域ネットワークにおけるパフォーマンスオーバーヘッドを低減すること。
• MPI が、従来の HPC から新興のグリッドベースの科学的アプリケーションまで、スケーラブルで使いやすいモデルとして実現可能であることを示すこと。

提案手法

• 認証、承認、リソース割り当て、実行可能ファイルのステージングのための Globus Toolkit サービスを、アーガソンの MPICH 実装に拡張する。
• Globus ミドルウェアを用いて、管理ドメインをまたがるプロセスの作成、監視、制御、I/O リダイレクトを自動化する。
• 起動および集約通信などのパフォーマンスに影響を与える操作に、ネットワークトポロジー情報を統合して、データ移動を最適化する。
• MPI 通信子を用いて階層的なシステム構造を表現し、ネットワークトポロジーおよび QoS メカニズムへのアプリケーションレベルでの適応を可能にする。
• 非同期操作およびトポロジーに配慮した集約アルゴリズムを活用して、広域ネットワークにおけるレイテンシを管理し、パフォーマンスを向上させる。
• スケーラビリティおよび効率性を高めるために、コアコンponent を再実装し、以前の MPICH-G システムに比べて顕著に性能向上と拡張性向上を達成する。

実験結果

リサーチクエスチョン

• RQ1 MPI を、顕著なパフォーマンスオーバーヘッドを引き起こさずにグリッドコンピューティングのプログラミングモデルとして効果的に使用できるか。
• RQ2 特に通信子および非同期操作といった既存の MPI 構造が、広域で分散した環境における異種性をどの程度効果的に管理できるか。
• RQ3 Globus Toolkit サービスの統合により、管理ドメインをまたがる認証、リソース割り当て、プロセス制御の透明かつ自動化された管理が可能になるか。
• RQ4 MPICH-G2 のパフォーマンスは、ローカルエリアネットワークおよび広域ネットワーク環境において、ネイティブな MPI 実装と比較してどの程度か。
• RQ5 MPI ベースのアプリケーションは、実際のグリッド環境、特に複雑なシミュレーションやビジュアライゼーションパイプラインを含め、高いスケーラビリティと信頼性を達成できるか。

主な発見

• MPICH-G2 は、ネイティブな MPI 実装と比較して、ほとんど無視できるほどのパフォーマンスオーバーヘッドを達成しており、通信関数のレイテンシはローカル実行とほとんど区別できない。
• Globus Toolkit サービスの使用により、認証、実行可能ファイルのステージング、リソース割り当てを含む完全なジョブセットアップが自動化され、ユーザーは複数のサイトにまたがって標準的な mpirun コマンドで MPI プログラムを実行できる。
• MPI 通信子は、ネットワークトポロジーのアプリケーションレベルでの発見および適応を成功裏に可能にし、階層的で広域のネットワークにおけるパフォーマンス向上を実現した。
• 実験により、QoS 対応の通信パターンを用いた例で示されたように、MPI の構造を用いてユーザーがネットワークのサービス品質（QoS）を管理可能である。
• MPICH-G2 は、記録更新の分散シミュレーションや、リモートビジュアライゼーション、大規模な数値モデリングを含む多様なアプリケーションで、生産環境で成功裏に使用されている。
• 実装は、極めて異種的で広域の環境においても、MPI が実現可能で、スケーラブルかつ効率的なグリッドコンピューティングのモデルであることを示している。