[論文レビュー] GRACOS: Scalable and Load Balanced P3M Cosmological N-body Code

Alexander Shirokov, Edmund Bertschinger|arXiv (Cornell University)|May 5, 2005

Scientific Research and Discoveries参考文献 3被引用数 3

ひとこと要約

GRACOS は、分散メモリクラスタ向けにスケーラブルで負荷分散が行われた P3M 宇宙論的 N ボディコードであり、長距離力（フーリエ基盤メッシュ）に対して静的 1D スラブ分割を、短距離力（直接和算）に対して動的ヒルベルト曲線に基づくドメイン分割を組み合わせる。$800^3$ シミュレーションにおいて 80 プロセッサまでニア・オプティマルな負荷分散と強力なスケーラビリティを達成し、極端な質量非均一性下でも有効性を示している。

ABSTRACT

We present a parallel implementation of the particle-particle/particle-mesh (P3M) algorithm for distributed memory clusters. The GRACOS (GRAvitational COSmology) code uses a hybrid method for both computation and domain decomposition. Long-range forces are computed using a Fourier transform gravity solver on a regular mesh; the mesh is distributed across parallel processes using a static one-dimensional slab domain decomposition. Short-range forces are computed by direct summation of close pairs; particles are distributed using a dynamic domain decomposition based on a space-filling Hilbert curve. A nearly-optimal method was devised to dynamically repartition the particle distribution so as to maintain load balance even for extremely inhomogeneous mass distributions. Tests using $800^3$ simulations on a 40-processor beowulf cluster showed good load balance and scalability up to 80 processes. We discuss the limits on scalability imposed by communication and extreme clustering and suggest how they may be removed by extending our algorithm to include adaptive mesh refinement.

研究の動機と目的

• 分散メモリクラスタ、特に Beowulf クラスタ向けにメッセージパッシング P3M N ボディコードを開発し、既存の P3M 実装の制限を克服すること。
• 極めて非均一な質量分布を示す N ボディシミュレーションにおける負荷不均衡の課題に対処すること。
• ハイブリッドドメイン分割戦略を用いて、宇宙論的シミュレーションで強力なスケーラビリティとニア・オプティマルな負荷分散を達成すること。
• フーリエ基盤の長距離力と直接的短距離力計算を組み合わせることで、高い動的範囲を持つ大規模な宇宙論的シミュレーションを効率的に行えるようにすること。

提案手法

• 長距離力計算のための粒子メッシュ（PM）計算をプロセス間で分散するために、静的 1 次元スラブ分割を用い、効率的な FFT を用いた長距離力計算を可能にする。
• 短距離力計算のための粒子を分散するために、ヒルベルト空間充填曲線に基づく動的ドメイン分割を採用し、空間的局所性を保つ。
• 粒子クラスタリングの進化に伴い、ヒルベルト曲線インデックスを用いて動的に粒子を再分割することで、プロセッサ間の負荷バランスを維持する。
• 粒子位置をヒルベルト曲線インデックスにマッピングすることで、効率的で局所性を保ったドメイン分割を可能にし、通信オーバーヘッドを低減する。
• メッシュ上の分散 FFT を実行するために FFTW ライブラリを用い、各プロセスがメッシュのスラブを担当することで通信量を最小限に抑える。
• 繰り返し高価なヒルベルト曲線関数呼び出しを避けるために、繰り返し関数呼び出しを避けるようにメモリアクセスパターンを最適化し、直接配列インデックス参照を優先する。

実験結果

リサーチクエスチョン

• RQ1 分散メモリ Beowulf クラスタ上で P3M N ボディコードを効率的に並列化し、極端な粒子クラスタリング下でも負荷バランスを維持できるか？
• RQ2 進化する非均一な粒子分布を示す宇宙論的 N ボディシミュレーションにおいて、負荷不均衡を最小限に抑える最適な動的ドメイン分割戦略は何か？
• RQ3 静的メッシュ分割と動的粒子分割を組み合わせたハイブリッド手法は、大規模な宇宙論的シミュレーションで強力なスケーラビリティを達成できるか？
• RQ4 ヒルベルト曲線に基づく粒子分布は、他の空間充填曲線と比較して、負荷バランスおよび通信効率の面で優れているか？
• RQ5 現在の P3M アルゴリズムの通信およびスケーラビリティの限界は何か？そして、適応的メッシュ細分化を用いてそれらをどのように緩和できるか？

主な発見

• GRACOS は、40 ノードの Beowulf クラスタ上での $800^3$ シミュレーションにおいて、80 プロセッサまで良好な負荷バランスと強力なスケーラビリティを達成した。
• 動的ヒルベルト曲線に基づく粒子分割は、極端な質量クラスタリング下でも負荷バランスを効果的に維持し、プロセッサ間の無駄な待機時間を最小限に抑えた。
• 粒子の進化する空間的分布に基づいて動的に再分割することで、ほぼ最適な負荷バランスを達成した。
• ヒルベルト曲線マッピングにより、効率的で局所性を保ったドメイン分割が可能になり、通信コストが低減され、キャッシュ性能が向上した。
• m=9 の場合、ヒルベルト曲線関数呼び出し（hilbert_c2i）の CPU 時間は約 1.056 ナノ秒であり、三重配列参照の約 120 倍遅いが、繰り返し呼び出しを最小限に抑えることでパフォーマンスが最適化された。
• 静的メッシュ分割と動的粒子分割を組み合わせたハイブリッド手法は、計算負荷のバランスを適切に保ちながら、高いスケーラビリティと効率性を実現した。