[論文レビュー] A Multilevel Approach to Topology-Aware Collective Operations in Computational Grids

Nicholas T. Karonis, Bronis R. de Supinski+3 more|ArXiv.org|Jun 24, 2002

Distributed and Parallel Computing Systems参考文献 15被引用数 23

ひとこと要約

本稿では、計算グリッドにおけるMPIコラボレーティブ操作のためのマルチレベルトポロジー認識アプローチを提案する。階層的ネットワーク構造情報を利用することで、遅延の高いリンクを介する通信を最小限に抑える。ローカル、クラスタ、広域ネットワークなどの複数のネットワークレイヤーにわたるトポロジー認識ツリーを構築することにより、標準のバイノミアルツリーおよび二層トポロジー認識手法よりも、MPI_Bcastおよびその他の操作において通信コストを顕著に低減する。

ABSTRACT

The efficient implementation of collective communiction operations has received much attention. Initial efforts produced "optimal" trees based on network communication models that assumed equal point-to-point latencies between any two processes. This assumption is violated in most practical settings, however, particularly in heterogeneous systems such as clusters of SMPs and wide-area "computational Grids," with the result that collective operations perform suboptimally. In response, more recent work has focused on creating topology-aware trees for collective operations that minimize communication across slower channels (e.g., a wide-area network). While these efforts have significant communication benefits, they all limit their view of the network to only two layers. We present a strategy based upon a multilayer view of the network. By creating multilevel topology-aware trees we take advantage of communication cost differences at every level in the network. We used this strategy to implement topology-aware versions of several MPI collective operations in MPICH-G2, the Globus Toolkit[tm]-enabled version of the popular MPICH implementation of the MPI standard. Using information about topology provided by MPICH-G2, we construct these multilevel topology-aware trees automatically during execution. We present results demonstrating the advantages of our multilevel approach by comparing it to the default (topology-unaware) implementation provided by MPICH and a topology-aware two-layer implementation.

研究の動機と目的

• 計算グリッドのような異種でマルチレベルのネットワーク環境における、従来のコラボレーティブ操作の性能が最適でない問題に対処すること。
• 従来のトポロジー認識手法がローカルと広域ネットワークの二層のみを区別するという制限を克服すること。
• 遅延の高いチャネルを横断する通信の遅延を最小化する、スケーラブルで自動的なマルチレベル通信ツリー構築手法を設計・実装すること。
• MPICH-G2に統合することで、アプリケーションのコード変更なしにトポロジー認識コラボレーティブ操作を可能にすること。
• マルチレベルトポロジー認識手法が、標準的および二層トポロジー認識実装と比較して、性能向上をどの程度達成できるかを評価すること。

提案手法

• プロセスが同じローカルネットワークを共有することを特定するために、環境変数を用いる。これにより、ドメイン名に基づくヒューリスティクスの代わりに、より明確な識別が可能になる。
• 隠しコミュニケーターの代わりに整数ベクトルを用いて、マルチレベルクラスタを表現することで、任意の通信ツリーの直接構築が可能になる。
• ネットワークを通信遅延の予測値に基づいて複数のレイヤーに分離することで、トポロジー認識ツリーを構築する。
• MPI_Bcast、MPI_Reduce、MPI_Barrier、MPI_Gather、MPI_Scatterなどのコラボレーティブ操作を、カスタムツリーを介したポイントツーポイント操作によって実装する。
• 特に広域ネットワーク間リンクを介する通信トラフィックを最小化する通信パターンを自動的に選択する。
• MPICH-G2と統合され、Globus Toolkitサービスを用いて、広域で異種な環境における実行をサポートする。

実験結果

リサーチクエスチョン

• RQ1 広域計算グリッド環境において、二層またはデフォルト手法と比較して、マルチレベルネットワーク抽象化がMPIコラボレーティブ操作の性能を向上させられるか？
• RQ2 階層的ネットワーク構造情報の使用が、コラボレーティブ操作における通信コストとスケーラビリティに与える影響は何か？
• RQ3 複数のネットワークレイヤーにわたるトポロジー認識ツリーを構築することで、クラスタ間または広域ネットワーク間通信をどの程度低減できるか？
• RQ4 既存のMPIランタイムに、アプリケーションレベルの変更なしにマルチレベルアプローチを効率的に実装できるか？
• RQ5 通信遅延特性に基づいて、異なるネットワークレイヤーで、バイノミアルツリーと平たいツリーなどの異なるツリー構造は、どのように性能を発揮するか？

主な発見

• マルチレベルトポロジー認識アプローチは、特に広域グリッド環境において、MPICHにおけるデフォルトのバイノミアルツリー実装よりも、MPI_Bcastで顕著に優れた性能を発揮する。
• MagPIeの二層トポロジー認識手法と比較して、マルチレベルアプローチは、より深いネットワーク階層を活用することで、階層間通信コストをさらに低減する。
• 隠しコミュニケーターの代わりに整数ベクトルを用いることで、より効率的かつ柔軟なツリー構築が可能になり、ネストされたコラボレーティブ操作のオーバーヘッドを回避できる。
• 特に遅延の高い広域ネットワークリンクを横断するメッセージ数を最小化することで、性能向上を達成し、クラスタ間通信コストをO(log N)まで削減する可能性を有する。
• 予備的な結果では、MPI_Bcastおよびその他のコラボレーティブ操作において、測定可能な性能向上が確認され、二層または無知なアプローチと比較して、マルチレベル認識の価値が示された。
• 本アプローチは実用的かつ導入可能であり、環境変数の設定のみで実現可能で、MPIアプリケーションのコード変更は一切不要である。