[論文レビュー] Accurate runtime selection of optimal MPI collective algorithms using analytical performance modelling

Emin Nuriyev, Alexey Lastovetsky|arXiv (Cornell University)|Apr 23, 2020

Distributed and Parallel Computing Systems被引用数 5

ひとこと要約

この論文は、アルゴリズムコードから直接解析的性能モデルを導出し、アルゴリズム固有の通信実験を通じてパラメータを推定することにより、正確で効率的なランタイムでの最適MPIコラボレーティブアルゴリズム選択のためのモデルベースのアプローチを提案している。この手法は、Open MPIのブロードキャストおよびギャザー操作において100%の選択精度を達成し、最適なアルゴリズムを選択できないことがよくある経験的意思決定関数を上回っている。

ABSTRACT

The performance of collective operations has been a critical issue since the advent of MPI. Many algorithms have been proposed for each MPI collective operation but none of them proved optimal in all situations. Different algorithms demonstrate superior performance depending on the platform, the message size, the number of processes, etc. MPI implementations perform the selection of the collective algorithm empirically, executing a simple runtime decision function. While efficient, this approach does not guarantee the optimal selection. As a more accurate but equally efficient alternative, the use of analytical performance models of collective algorithms for the selection process was proposed and studied. Unfortunately, the previous attempts in this direction have not been successful. We revisit the analytical model-based approach and propose two innovations that significantly improve the selective accuracy of analytical models: (1) We derive analytical models from the code implementing the algorithms rather than from their high-level mathematical definitions. This results in more detailed models. (2) We estimate model parameters separately for each collective algorithm and include the execution of this algorithm in the corresponding communication experiment. We experimentally demonstrate the accuracy and efficiency of our approach using Open MPI broadcast and gather algorithms and a Grid5000 cluster.

研究の動機と目的

• 多様なプラットフォーム、メッセージサイズ、プロセス数において、最適でないMPIコラボレーティブアルゴリズム選択という継続的な課題に対処すること。
• 効率的ではあるが最適なアルゴリズム選択を保証しない既存の経験的意思決定関数を改善すること。
• かつて精度が不十分であったために失敗したが、再び復活させ、強化する解析的性能モデリングアプローチを提案すること。
• 実用的なMPI実装への導入に適した、高い正確性と低いランタイムオーバーヘッドを両立する手法を開発すること。
• 実際のクラスタ上でOpen MPIのブロードキャストおよびギャザーアルゴリズムを用いて、実験的にこのアプローチを検証すること。

提案手法

• 高レベルの数学的抽象化からではなく、MPIコラボレーティブアルゴリズムのソースコードから直接解析的性能モデルを導出し、低レベルの実装詳細を捉えること。
• ターゲットアルゴリズムの実行時間が合計時間の大部分を占める通信実験を設計し、正確なパラメータ推定を保証すること。
• 測定された実行時間に対してHuber回帰を用いて、各アルゴリズムごとに個別にモデルパラメータ（例：レイテンシ α および帯域幅 β）を推定すること。
• 得られた詳細な解析的モデルを意思決定関数に組み込み、メッセージサイズおよびプロセス数に基づいてランタイムで最適なアルゴリズムを選択すること。
• メッセージサイズ m を変数とする点対点通信モデル T = α + β × m の形でモデルを構築し、制御された実験によりパラメータをキャリブレーションすること。
• モデルベースの意思決定関数をMPIルーチンに統合し、効率的で正確かつ透明なアルゴリズム選択を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 ソースコードから導出された解析的性能モデルは、高レベルの数学的定義に基づくモデルよりも高い正確性を達成できるか？
• RQ2 アルゴリズム固有の実験を用いて各アルゴリズムごとにパラメータを別々に推定することで、選択の正確性が顕著に向上するか？
• RQ3 経験的意思決定関数と同等の効率性を維持しながら、最適なアルゴリズム選択を保証できるモデルベースのアプローチは可能か？
• RQ4 点対点通信の使用状況が、コラボレーティブアルゴリズムにおける有効通信時間にどの程度影響を及ぼすか？
• RQ5 提案手法は、メッセージサイズやプロセス数が変化する状況でも一貫して最適なMPIコラボレーティブアルゴリズムを選択できるか？

主な発見

• 提案手法は、テストされたすべての構成においてMPI_BcastおよびMPI_Gatherアルゴリズムの最適選択を100%の正確性で達成し、Open MPIのデフォルトの経験的意思決定関数を上回った。
• コード実装から導出された解析的モデルは、実装固有の詳細を捉えており、高レベルの論理が類似するアルゴリズム間の性能比較を正確に行えることを示した。
• アルゴリズム主導の実験を用いたパラメータ推定により、αおよびβの値が一貫性があり正確に得られ、アルゴリズムおよびコラボレーティブ操作ごとに顕著な差が観察された。
• スプリットバイナリおよびバイナリツリー型ブロードキャストアルゴリズムは、同じ仮想トポロジを使用していたにもかかわらず、有効通信時間が異なっていた。これは並列性および通信パターンの違いに起因する。
• モデルベースの意思決定関数は、経験的手法と同等の効率性を示し、最小限のランタイムオーバーヘッドであったため、MPIライブラリにおける本番環境での利用に適していた。
• 結果から、実装に配慮したモデルとターゲットを絞った実験を用いて適切にキャリブレーションされた解析的モデリングは、MPIにおける経験的意思決定関数を信頼性高く置き換えることができる。