[論文レビュー] A 400 Trillion-Grid Vlasov Simulation on Fugaku Supercomputer: Large-Scale Distribution of Cosmic Relic Neutrinos in a Six-dimensional Phase Space

Kohji Yoshikawa, Satoshi Tanaka+1 more|arXiv (Cornell University)|Oct 29, 2021

Cosmology and Gravitation Theories参考文献 24被引用数 8

ひとこと要約

本論文は、富岳スパコン上で新規の高次スカラー法を用いて、世界初かつ最大の6次元位相空間Vlasovシミュレーションを、宇宙背景ニュートリノの動的挙動に適用した。400兆グリッドにわたるVlasov方程式の直接積分により、ノイズフリーで高解像度のマスニュートリノ動的挙動のモデリングを実現し、最新のN体シミュレーションと比較して時間的解法速度が10倍速くなった。これにより、大規模構造形成における衝突なし減衰の正確な研究が可能となった。

ABSTRACT

We report a Vlasov simulation of cosmic relic neutrinos combined with N-body simulation of cold dark matter in the context of large-scale structure formation in the Universe performed on Fugaku supercomputer. Gravitational dynamics of the neutrinos is followed, for the first time, by directly integrating the Vlasov equation in a six-dimensional phase space. Our largest simulation combines the Vlasov simulation on 400 trillion grids and 330 billion-body calculations in a self-consistent manner, and reproduces accurately the nonlinear dynamics of neutrinos in the Universe. The novel high-order Vlasov solver is optimized by combining an array of state-of-the-art numerical schemes and fully utilizing the SIMD instructions on the A64FX processors. Time-To-Solution of our simulation is an order of magnitude shorter than the largest N-body simulations. The performance scales excellently with up to 147,456 nodes (7 million CPU cores) on Fugaku; the weak and strong scaling efficiencies are 82% - 96% and 82% - 93%, respectively.

研究の動機と目的

• マスニュートリノのモデリングにおいて、粒子ベースのN体シミュレーションの限界、特にショットノイズと高エネルギー尾部の低解像度を克服すること。
• 3次元位置と3次元速度の6次元位相空間におけるVlasov方程式を用いて、寒冷ダークマター（CDM）と完全に自己整合的な形で宇宙背景ニュートリノの重力的ダイナミクスをシミュレートすること。
• 大規模Vlasovシミュレーションにおいて、富岳スパコン上で前例のない計算性能と拡張性を達成すること。
• 大規模構造に刻まれた衝突なし減衰効果の正確なモデリングを可能とし、ニュートリノ質量の制約に不可欠である。
• 両手法の長所を活かしたハイブリッドVlasov/N体フレームワークを確立し、多成分系の宇宙論的シミュレーションに応用可能とする。

提案手法

• ニュートリノ分布関数を連続的に表現するため、高次精度の有限体積法を用いて6次元位相空間（3次元位置、3次元速度）におけるVlasov方程式を直接解く。
• A64FXプロセッサに最適化された、空間的精度が高く計算コストが低い新規な移流スキームを採用。
• 構造的グリッドデータをSIMDレジスタに効率的にパックするためのLAT（Load-Array-Transpose）手法を導入し、メモリアクセスのオーバーヘッドを最小限に抑える。
• 寒冷ダークマターの粒子ベースN体シミュレーションと結合させ、ポisson方程式を用いて自己一貫的な重力ポテンシャルを計算する。
• マスニュートリノはVlasov方程式、CDMはN体法で取り扱うハイブリッド数値的手法を採用し、両者の相補的利点を統合する。
• 富岳の高帯域幅TofuインターコネクトとA64FXベクトルユニットを活用し、数値計算、メモリアクセス、並列化の全スタックを最適化する。

実験結果

リサーチクエスチョン

• RQ1 エクサスケールの宇宙論的シミュレーションにおいて、マスニュートリノの6次元位相空間におけるVlasov方程式を、エクサスケールで効率的に解くことは可能か？
• RQ2 高次精度でSIMD最適化されたVlasovソルバは、高温で衝突のない成分に対して、従来のN体法と比較して顕著に高い性能と低いノイズを達成できるか？
• RQ3 ハイブリッドVlasov/N体アプローチは、マスニュートリノの非線形ダイナミクスと大規模構造形成への影響を正確にモデリングできるか？
• RQ4 富岳スパコン上でのVlasovシミュレーションは、弱スケーリングおよび強スケーリングの両領域で、どの程度のスケーラビリティとパフォーマンスを示すか？
• RQ5 Vlasovシミュレーションではショットノイズが存在しないため、衝突なし減衰に不可欠な速度分布尾部の解像度がどの程度向上するか？

主な発見

• 本シミュレーションでは位相空間に400兆グリッドを用い、3300億体分の計算が実施され、史上最大のVlasovシミュレーションとなった。
• 空間解像度はN体シミュレーションと同等であったが、ノイズ特性が優れており、時間的解法速度は最大のN体シミュレーションと比較して10倍速くなった。
• 最大147,456ノード（700万CPUコア）を用いたシミュレーションにおいて、弱スケーリング効率が82–96%、強スケーリング効率が82–93%を示し、優れたスケーリング性能を達成した。
• 新規の高次精度Vlasovソルバに加え、SIMD最適化されたデータレイアウト（LAT手法）を組み合わせることで、高い計算性能と低減衰を実現した。
• ハイブリッドVlasov/N体フレームワークにより、マスニュートリノとCDMの自己一貫的な重力結合が正確に再現され、非線形構造形成の高精度な再現が可能となった。
• 本シミュレーションは、Vlasov法がマスニュートリノの広がりのある、延長された速度尾部を正確に解像できることを示した。これは、N体法では不十分に解像されるが、衝突なし減衰をモデリングする上で極めて重要である。