[論文レビュー] High-Performance Small-Scale Simulation of Star Clusters Evolution on Cray XD1

Keigo Nitadori, Junichiro Makino+1 more|arXiv (Cornell University)|Jun 6, 2006

Advanced Data Storage Technologies参考文献 1被引用数 5

ひとこと要約

本論文は、Cray XD1上で個々のタイムステップ統合を用いた直接N体シミュレーションの、非常にスケーラブルな二次元並列化スキームを提示し、64k星のクラスターシミュレーションで2.03 Tflops（理論ピークの57.7％）の性能を達成した—小Nの天体物理学的シミュレーションにおいて、O(N^3.3)のスケーリング複雑性を有する前例のない性能効率を示した。

ABSTRACT

In this paper, we describe the performance of an $N$-body simulation of star cluster with 64k stars on a Cray XD1 system with 400 dual-core Opteron processors. A number of astrophysical $N$-body simulations were reported in SCxy conferences. All previous entries for Gordon-Bell prizes used at least 700k particles. The reason for this preference of large numbers of particles is the parallel efficiency. It is very difficult to achieve high performance on large parallel machines, if the number of particles is small. However, for many scientifically important problems the calculation cost scales as $O(N^{3.3})$, and it is very important to use large machines for relatively small number of particles. We achieved 2.03 Tflops, or 57.7% of the theoretical peak performance, using a direct $O(N^2)$ calculation with the individual timestep algorithm, on 64k particles. The best efficiency previously reported on similar calculation with 64K or smaller number of particles is 12% (9 Gflops) on Cray T3E-600 with 128 processors. Our implementation is based on highly scalable two-dimensional parallelization scheme, and low-latency communication network of Cray XD1 turned out to be essential to achieve this level of performance.

研究の動機と目的

• 小NのN体シミュレーションにおいて、O(N^3.3)のスケーリングを示す天体物理学的問題に不可欠な、大規模並列マシンにおける高い並列効率と絶対的性能を達成すること。
• 直接N体シミュレーションのためのスケーラブルで通信最適化されたアルゴリズムを設計することで、小Nシステムにおける劣悪な強化スケーリングの課題を克服すること。
• 現代のMPPシステムが、高パフォーマンスコンピューティング分野で一般的に大Nシミュレーションが好まれる中でも、小Nシミュレーション（例：64k粒子）を効率的かつ高性能に処理できることを実証すること。
• 大スケールのプロセッサ数で高い持続的性能を達成することで、現実的な粒子数を有する星団の長期的かつ高精度なシミュレーションを可能にすること。

提案手法

• N体シミュレーションにおける通信オーバーヘッドの最小化と負荷バランスの最大化を目的として、2次元ブロック構造のドメイン分割を採用した。
• 広範な軌道時間スケールの差を扱うために、個々の（ブロック）タイムステップアルゴリズムを実装し、総タイムステップ数の削減と統合の精度向上を実現した。
• アセンブリレベルの最適化を施した高効率な力計算カーネルを活用し、算術強度を最大化するとともに、メモリ遅延を低減した。
• Cray XD1の低遅延かつ高帯域幅のインタコネクトと高度にチューニングされたMPIライブラリを活用し、通信ボトル neck を最小限に抑えた。
• 最大800プロセッサまでスケーラブルなデータ配布と効率的なローカル通信を可能にする2次元プロセッサグリッドレイアウトを採用した。
• 接近時における数値特異性を回避するため、ε = 4/N の緩和された重力ポテンシャルを用いた。

実験結果

リサーチクエスチョン

• RQ1 64k粒子を有する直接N体シミュレーションが、Cray XD1のような大規模並列マシン上で高いパフォーマンスと強化スケーリングを達成できるか？
• RQ2 通信と負荷不均衡の課題が内在する小NのN体シミュレーションにおいて、どの程度の並列効率が達成可能か？
• RQ3 2次元ドメイン分割と個々のタイムステップ統合の組み合わせが、現代のMPPシステム上で性能とスケーラビリティにどのような影響を与えるか？
• RQ4 O(N^2)の力計算コストがあるにもかかわらず、小Nシミュレーションで高い持続的パフォーマンス（例：理論ピークの50％以上）を達成できるか？

主な発見

• 64k粒子のシミュレーションにおいて、800プロセッサ（400基のデュアルコアOpteron）で2.03 Tflopsの持続的パフォーマンスを達成し、Cray XD1システムの理論ピーク性能の57.7％に相当した。
• 64k粒子の場合、512プロセッサまで並列効率が80％を超えた。これは、小Nシミュレーションにおいて前例のない優れた強化スケーリングを示した。
• 16k粒子を256プロセッサで実行した場合、理論ピークの60％を達成した。これは、類似システム（例：GRAPE-6で13％、Cray T3Eで8％）の先行結果を著しく上回った。
• ブロックステップあたりの通信時間は平均179 μsにとどまり、Cray XD1の低遅延ネットワークと最適化されたMPIライブラリのおかげで非常に小さく、計算と通信の重ね合わせが可能だった。
• 全シミュレーションは26.4時間にわたり、4.93×10^10回のタイムステップと1.94×10^17回の浮動小数点演算を実行し、大規模な長期的かつ高精度なシミュレーションの実現可能性を裏付けた。
• 2次元並列化スキームにより、非最適化アプローチと比較して通信時間が20倍短縮され、これは非最適化アプローチでは500 Gflops未満の性能に制限されるのを防いだ。