[論文レビュー] PKDGRAV3: Beyond Trillion Particle Cosmological Simulations for the Next Era of Galaxy Surveys

Douglas M. Potter, Joachim Stadel+1 more|arXiv (Cornell University)|Sep 27, 2016

Scientific Research and Discoveries被引用数 8

ひとこと要約

PKDGRAV3 は、GPUアクセラレートされたノードを活用し、Fast Multipole Method と適応的時間ステップを用いて、Piz Daint で 80 時間未塔の 2 兆粒子の宇宙論的シミュレーションを実現した。ピーク性能は 10 ペタフロップスに達し、8 兆粒子のシミュレーションの実現可能性を示した。これは、次世代の銀河赤方偏移調査に不可欠な大規模 N-体シミュレーションにおける時間対ソリューションの新しい基準を確立した。

ABSTRACT

We report on the successful completion of a 2 trillion particle cosmological simulation to z=0 run on the Piz Daint supercomputer (CSCS, Switzerland), using 4000+ GPU nodes for a little less than 80h of wall-clock time or 350,000 node hours. Using multiple benchmarks and performance measurements on the US Oak Ridge National Laboratory Titan supercomputer, we demonstrate that our code PKDGRAV3, delivers, to our knowledge, the fastest time-to-solution for large-scale cosmological N-body simulations. This was made possible by using the Fast Multipole Method in conjunction with individual and adaptive particle time steps, both deployed efficiently (and for the first time) on supercomputers with GPU-accelerated nodes. The very low memory footprint of PKDGRAV3 allowed us to run the first ever benchmark with 8 trillion particles on Titan, and to achieve perfect scaling up to 18000 nodes and a peak performance of 10 Pflops.

研究の動機と目的

• 次世代の銀河赤方偏移調査の精度要件を満たすために、2 兆粒子を超える超大規模な宇宙論的シミュレーションを可能にすること。
• 大規模 N-体シミュレーションの時間対ソリューションを短縮し、反復的宇宙論的解析パイプラインにおける実用性を高めること。
• Piz Daint や Titan のような現代の GPU アクセラレートスーパーコンピュータでのスケーラビリティとパフォーマンスを示すこと。
• 線形から極めて非線形なスケールにわたり、物質パワースペクトルの予測で 1% 未塔の精度を達成すること。
• 将来の理論的モデリングにおけるダークエネルギーおよび代替重力理論の検証を可能にする 8 兆粒子シミュレーションの実現可能性を確立すること。

提案手法

• N-体シミュレーションにおける効率的な O(N log N) 重力計算のための Fast Multipole Method (FMM) の実装。
• 個々の粒子の時間ステップと適応的時間ステップの採用により、エネルギー保存の向上と計算負荷の低減。
• GPU アクセラレートスーパーコンピュータ向けのコード最適化により、粒子あたりのメモリフットプリントを最小限に抑える。
• リアルタイムでの解析を活用し、後処理の必要性を低減し、シミュレーション出力のスムーズな処理を実現。
• Titan (ORNL) および Piz Daint (CSCS) でのベンチマークを実施し、18,000 ノードにわたるスケーリングとパフォーマンスを検証。
• アルゴリズムとハードウェアの共同設計により、ムーアの法則の限界を超えてパフォーマンス向上を維持すること。

実験結果

リサーチクエスチョン

• RQ1 現代の GPU ベースのスーパーコンピュータ上で、2 兆粒子の宇宙論的 N-体シミュレーションを 80 時間未塔で完了できるか？
• RQ2 Titan における 18,000 個の GPU ノード上での PKDGRAV3 のパフォーマンスとスケーリング特性は何か？
• RQ3 FMM と適応的時間ステップの組み合わせが、超大規模シミュレーションにおける精度と効率をどのように向上させるか？
• RQ4 2 兆粒子を超えるシミュレーションを可能にするために、メモリフットプリントと時間対ソリューションをどの程度まで最小限に抑えられるか？
• RQ5 このようなシミュレーションが、将来の銀河赤方偏移調査のデータ解析パイプラインに統合可能か。特に、従来の後処理を置き換えることは可能か？

主な発見

• Piz Daint の 4,000 個の GPU ノードを用いて、2 兆粒子の宇宙論的シミュレーションが 79.5 時間のウォールクロックタイムで正常に完了した。
• Titan スーパーコンピュータの 18,000 ノードでピーク性能 10 ペタフロップスを達成し、完全なスケーリングを示した。
• Titan で 8 兆粒子のベンチマークが正常に実行され、2 兆粒子を超えるシミュレーションの実現可能性が確認された。
• 18,000 ノードまで優れた強スケーリングを達成し、理論的予測と一致するパフォーマンスを示した。
• Titan では 1 兆粒子シミュレーションの時間対ソリューションが 10 時間未塔に短縮され、今世紀中に 8 時間未塔の実現が見込まれる。
• 2 つの一時的ハードウェア障害（ノードの性能不足と GPU タスク処理障害）が特定され、実行時間への影響は最小限に抑えられた。