[論文レビュー] A Performance Model for the Communication in Fast Multipole Methods on HPC Platforms

Huda Ibeid, Rio Yokota+1 more|arXiv (Cornell University)|May 25, 2014

Electromagnetic Scattering and Analysis参考文献 28被引用数 3

ひとこと要約

本論文は、HPCプラットフォームにおける高速多重極法（FMM）のノード間通信における強化された性能モデルを提案する。このモデルは、レイテンシ、帯域幅、ネットワークホップ数、マルチコアペナルティを統合しており、Shaheen、Mira、Titanの3つの多様なHPCシステムにおいて、実測値と照合された実績に基づき、通信時間を高精度に予測する。本モデルは、包括的なハードウェアに配慮したペナルティを組み込んだFMMのノード間通信を形式的に特徴づける初のものである。

ABSTRACT

Exascale systems are predicted to have approximately one billion cores, assuming Gigahertz cores. Limitations on affordable network topologies for distributed memory systems of such massive scale bring new challenges to the current parallel programing model. Currently, there are many efforts to evaluate the hardware and software bottlenecks of exascale designs. There is therefore an urgent need to model application performance and to understand what changes need to be made to ensure extrapolated scalability. The fast multipole method (FMM) was originally developed for accelerating N-body problems in astrophysics and molecular dynamics, but has recently been extended to a wider range of problems, including preconditioners for sparse linear solvers. It's high arithmetic intensity combined with its linear complexity and asynchronous communication patterns makes it a promising algorithm for exascale systems. In this paper, we discuss the challenges for FMM on current parallel computers and future exascale architectures, with a focus on inter-node communication. We develop a performance model that considers the communication patterns of the FMM, and observe a good match between our model and the actual communication time, when latency, bandwidth, network topology, and multi-core penalties are all taken into account. To our knowledge, this is the first formal characterization of inter-node communication in FMM, which validates the model against actual measurements of communication time.

研究の動機と目的

• エクサスケールHPCプラットフォームにおけるFMMのノード間通信のスケーラビリティ向上という、急速に拡大する課題に対処する。
• 大規模分散システムにおける巨大な並列処理とネットワーク制限が原因で生じるFMMの性能ボトルネックを特定する。
• 基本的なα-βモデルを超えた、実際のハードウェア制約を反映した形式的かつ検証済みのFMM通信性能モデルを構築する。
• 距離効果、各コアあたりの帯域幅の低下、マルチコアペナルティを通信モデリングに組み込むことで、性能予測の正確性を向上させる。
• 実HPCアーキテクチャでの実測による検証を通じて、将来のエクサスケールシステムにおけるFMMの性能の外挿予測を可能にする。

提案手法

• ノード間通信におけるネットワークホップ数と距離効果を考慮するため、標準的なα-β通信モデルにγ項を追加する。
• コア間の競合とメモリ階層の制限による有効帯域幅の低下をモデル化することで、マルチコアペナルティを統合する。
• Shaheen（BG/P）、Mira（BG/Q）、Titan（Cray XK7）の3つのHPCシステムからの測定通信時間に基づいて、モデルをキャリブレーションする。
• 通信コストが最も高いM2L（多重極から局所的）フェーズに焦点を当てる。
• 理論的分析と実測値の両方を組み合わせてモデルパラメータを精緻化し、実システムの挙動と整合性を保証する。
• 予測精度に与える各要因の影響を分離するために、提案されたα-β-γモデルと単純なモデルを比較する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークトポロジー、レイテンシ、帯域幅が、大規模HPCシステムにおけるFMMのノード間通信にどのように影響を与えるか？
• RQ2 マルチコアペナルティと各コアあたりの帯域幅の低下は、FMMにおける通信性能予測をどの程度歪めるか？
• RQ3 ホップ数（γ）、レイテンシ（α）、帯域幅（β）、マルチコアペナルティを統合した包括的性能モデルは、多様なHPCプラットフォーム間でFMM通信時間を正確に予測できるか？
• RQ4 M2Lフェーズは、メッセージサイズが同一でもなぜ通信時間が著しく増加するのか？この現象はモデルで捉えることができるか？
• RQ5 ハードウェア固有の制約を組み込むことで、基本的なα-βモデルに比べて、モデルの正確性はどの程度向上するか？

主な発見

• マルチコアペナルティを含むα-β-γモデルは、テストされた3つのHPCシステム（Shaheen、Mira、Titan）すべてにおいて、実際の通信時間と最も一致する結果を得た。
• 理論的帯域幅と測定帯域幅の最大差は、逆帯域幅補正に起因しており、有効帯域幅のモデリングの重要性を浮き彫りにした。
• M2Lフェーズでは、8192プロセスでレベル5からレベル6に移行した際、メッセージサイズが同一であったにもかかわらず通信時間が10倍に増加したが、γ項がこれを正確に捉えた。
• 実時間の大きな誤差範囲は、特にTitanにおいて顕著な負荷不均衡を示しており、実行時変動が性能予測に与える影響を強調した。
• 単純なα-βモデルおよびマルチコアペナルティを含まないα-β-γモデルよりも、本モデルが優れていた。これは、FMMスケーラビリティにおいて、各コアあたりの帯域幅の低下が重要な要因であることを証明した。
• 本研究は、著者らの知る限り、複数のアーキテクチャで実測値と照合された、FMMのノード間通信を形式的に経験的に特徴づける初のものである。