[論文レビュー] MAESTRO, CASTRO, and SEDONA -- Petascale Codes for Astrophysical Applications

Ann Almgren, John B. Bell+7 more|arXiv (Cornell University)|Aug 17, 2010

Gamma-ray bursts and supernovae参考文献 2被引用数 10

ひとこと要約

本稿では、Ia型超新星のエンドツーエンドなモデリングを目的としたペタスケール・アストロフィジカルシミュレーションコード、MAESTRO、CASTRO、SEDONAを提示する。MAESTROは低マッハ数流体力学的手法を用い、亜音速対流期を扱う。CASTROは爆発動態を扱うために完全可撓性ソルバを採用する。SEDONAは時間依存放射輸送を用いて合成光曲線およびスペクトルを計算する。主な貢献は、MAESTROからCASTROへのデータマッピングを成功裏に実現し、流れの状態間を滑らかに遷移可能にしたことである。強スケーリングは20万コアまで実証され、ペタスケールアーキテクチャでも効率的な性能を示した。

ABSTRACT

Performing high-resolution, high-fidelity, three-dimensional simulations of Type Ia supernovae (SNe Ia) requires not only algorithms that accurately represent the correct physics, but also codes that effectively harness the resources of the most powerful supercomputers. We are developing a suite of codes that provide the capability to perform end-to-end simulations of SNe Ia, from the early convective phase leading up to ignition to the explosion phase in which deflagration/detonation waves explode the star to the computation of the light curves resulting from the explosion. In this paper we discuss these codes with an emphasis on the techniques needed to scale them to petascale architectures. We also demonstrate our ability to map data from a low Mach number formulation to a compressible solver.

研究の動機と目的

• 対流から爆発、観測可能な光曲線に至るまで、高精度でエンドツーエンドのIa型超新星シミュレーションを可能にすること。
• ペタスケールスーパーコンピュータに効率的にスケーリングするコードを開発し、解像度が8192³に達するまでシミュレーションを可能にすること。
• 低マッハ数流体力学と完全可撓性流体力学の間のギャップを、MAESTROからCASTROへのデータ転送により埋めること。
• アダプティブメッシュリファインメント（AMR）と並列計算を用いた、マルチフィジックスアストロフィジカルシミュレーションの統合ソフトウェアフレームワークを提供すること。
• SEDONAの放射輸送により、シミュレートされた超新星観測量と実際の天文学的データを直接比較可能にすること。

提案手法

• MAESTROは、音響波を分離することで、音速ではなく流体速度に支配される大きな時間ステップを可能にする低マッハ数流体力学式を用いる。
• CASTROは、自己重力および核反応を含む完全可撓性のオイラー方程式を解き、保存則の双曲型系を明示的に進める。
• SEDONAは、時間依存的で多波長の、暗黙的モンテカルロ放射輸送法を用い、噴出物からの合成光曲線およびスペクトルを計算する。
• すべてのコードは、構造化グリッドにおけるアダプティブメッシュリファインメント（AMR）を実装したBoxLibフレームワークを採用しており、動的リファインメントと効率的な並列化を可能にする。
• ハッシュベースのソーティングアルゴリズムにより、AMRにおける通信パターンが最適化され、O(N²)のグリッド干渉チェックがO(N + N²/M)に削減され、大規模システムでのスケーラビリティが向上する。
• MAESTROからCASTROへのデータマッピングは、共通のソフトウェアフレームワークを介して実現され、低マッハ数解から完全可撓性シミュレーションの初期化を一貫して行える。

実験結果

リサーチクエスチョン

• RQ1 低マッハ数流体力学コード（MAESTRO）を、超新星シミュレーションのための完全可撓性コード（CASTRO）の初期化に効果的に使用できるか？
• RQ2 MAESTRO、CASTRO、SEDONAの3コードが、最大20万コアまでペタスケールアーキテクチャにどの程度スケーリングできるか？
• RQ3 これらのコードにおけるアダプティブメッシュリファインメントのスケールが極めて大きい場合の性能オーバーヘッドはどの程度か？
• RQ4 統合されたソフトウェアスタックを用いて、亜音速対流から超音速爆発動態への遷移を正確かつ効率的にシミュレートできるか？
• RQ5 CASTROの出力で初期化されたSEDONAの合成光曲線およびスペクトルが、観測データとどの程度一致するか？

主な発見

• MAESTROとCASTROは19万6千コアまで強スケーリングを達成し、AMRによるオーバーヘッドは高コア数でも15–18％にとどまる。
• 2次元流入ジェット問題において、MAESTROからCASTROへのデータマッピングが成功裏に実証され、CASTROシミュレーションはMAESTROデータで初期化された場合、基準解とよく一致した。
• CASTROによるIa型超新星爆発のシミュレーションは、有効解像度が最大8192³に達し、NERSCのFranklinシステムで約200万CPU時間の計算を要した。
• MAESTROは白色矮星における亜音速対流の長時間積分を可能にし、768³の有効解像度で100万CPU時間に達するシミュレーションが実現された。
• ハッシュベースのグリッド干渉アルゴリズムの導入により、AMRにおける通信コストがO(N²)からO(N + N²/M)に低下し、大規模システムでのスケーラビリティが顕著に向上した。
• SEDONAはCASTROの噴出物から合成光曲線およびスペクトルを効果的に計算し、観測データとの直接比較を可能にした。