[論文レビュー] A hybrid MPI-OpenMP scheme for scalable parallel pseudospectral computations for fluid turbulence

Pablo D. Mininni, Duane Rosenberg+2 more|arXiv (Cornell University)|Mar 23, 2010

Solar and Space Plasma Dynamics参考文献 10被引用数 11

ひとこと要約

この論文は、ペタスケールシステムにおける流体乱流のスケーラブルな擬スペクトルシミュレーションを実現するためのハイブリッドMPI-OpenMP方式を提示する。分散メモリ（MPI）と共有メモリ（OpenMP）の並列化を組み合わせることで、性能を向上させ、約20,000コアまでニア・オールアイドルのスケーラビリティを達成し、平均効率83％を実現。2つの高性能プラットフォームにおけるスレッド数とプロセス数の最適化を実施。

ABSTRACT

A hybrid scheme that utilizes MPI for distributed memory parallelism and OpenMP for shared memory parallelism is presented. The work is motivated by the desire to achieve exceptionally high Reynolds numbers in pseudospectral computations of fluid turbulence on emerging petascale, high core-count, massively parallel processing systems. The hybrid implementation derives from and augments a well-tested scalable MPI-parallelized pseudospectral code. The hybrid paradigm leads to a new picture for the domain decomposition of the pseudospectral grids, which is helpful in understanding, among other things, the 3D transpose of the global data that is necessary for the parallel fast Fourier transforms that are the central component of the numerical discretizations. Details of the hybrid implementation are provided, and performance tests illustrate the utility of the method. It is shown that the hybrid scheme achieves near ideal scalability up to ~20000 compute cores with a maximum mean efficiency of 83%. Data are presented that demonstrate how to choose the optimal number of MPI processes and OpenMP threads in order to optimize code performance on two different platforms.

研究の動機と目的

• 大規模コア数を有する新興のペタスケールアーキテクチャ上で、高レイノルズ数の流体乱流の直接数値シミュレーション（DNS）を可能にすること。
• 特にグローバルFFT変換とすべてのノード間通信パターンにおいて、純粋なMPIベースの擬スペクトルソルバのスケーラビリティ制限を克服すること。
• MPIとOpenMPの両方を活用した階層的マルチコアシステムに適した、ポータブルでスケーラブルかつ効率的なハイブリッド並列化モデルの開発。
• IBM Power6およびCray XT5など、多様なプラットフォームにおけるMPIプロセスとOpenMPスレッドのバランスを最適化し、ピークパフォーマンスを達成すること。
• 純粋なMPI 2次元分割が失敗する非フーリエ基底問題（例：球面調和関数）への擬スペクトル法の適用範囲を拡張すること。

提案手法

• 既存のMPI並列化された擬スペクトルコードを基盤とし、初期の並列化に1次元スラブ領域分割を採用。
• 各MPIプロセス内に共有メモリ並列化を実現するため、ループレベルのOpenMPディレクティブを導入。
• 2段階の並列化を可能にするよう領域分割を変更し、負荷バランスの向上と大規模FFTにおける通信オーバーヘッドの低減を実現。
• マルチスレッドFFTライブラリを採用してスペクトル変換を高速化し、グローバルデータ転置の遅延を低減。
• 低レベルのチューニングを必要とせず、標準的なMPIおよびOpenMP抽象化に依存する、システム間でのポータビリティを重視した実装。
• パフォーマンスチューニングには、MPICH_FAST_MEMCPYなどのMPI環境変数の設定を含むが、これによりバッファメモリ使用量が増加する可能性がある。

実験結果

リサーチクエスチョン

• RQ1 ペタスケールシステムにおける擬スペクトル流体シミュレーションにおいて、ハイブリッドMPI-OpenMPアプローチは純粋なMPIよりも優れたスケーラビリティとパフォーマンスを達成できるか？
• RQ2 現代のマルチコアアーキテクチャにおいて、パフォーマンスを最大化するためのMPIプロセスとOpenMPスレッドの最適な構成は何か？
• RQ3 スレッドのオーバーヘッドとメモリ消費量は、特に高コア数および大規模な問題サイズにおいてスケーラビリティにどのように影響するか？
• RQ4 純粋なMPI 2次元分割が失敗する非フーリエスペクトル基底（例：球面調和関数）に対しても、ハイブリッドモデルは効果的に機能するか？
• RQ5 コア数やメモリ階層が異なるさまざまなハードウェアプラットフォームにおいて、ハイブリッド方式のパフォーマンスはどのように変化するか？

主な発見

• ハイブリッドMPI-OpenMP方式は、約20,000コアまでニア・オールアイドルのスケーラビリティを達成し、最大平均効率は83％を記録。
• Cray XT5システム（kraken）では、大規模な問題に対しては1MPIプロセスあたり12個のOpenMPスレッドが最適なパフォーマンスを発揮するが、小規模なワークロードでは6スレッドがスレッドオーバーヘッドを低減し、より優れた性能を示す。
• IBM Power6システム（bluefire）では、解像度が低い場合にスレッドオーバーヘッドが顕著になり、ソケットあたりのコア数が少ない場合にスケーラビリティが制限される。
• MPI環境変数MPICH_FAST_MEMCPYの使用により、パフォーマンスが8–10％向上するが、バッファメモリ要件が増加し、大規模な解像度ではメモリオーバーフローのリスクが生じる。
• ハイブリッドアプローチによりMPIプロセス数が削減され、バッファメモリの要求が低減し、MPI関連のメモリボトルネックが緩和される。
• 立方体でない領域に対しても本手法は有効であり、計算幾何学におけるさまざまなアスペクト比にわたり、高いロバスト性を示している。