[論文レビュー] Introducing Enzo, an AMR Cosmology Application

Brian W. O’Shea, Greg L. Bryan+5 more|arXiv (Cornell University)|Mar 1, 2004

Galaxies: Formation, Evolution, Phenomena参考文献 8被引用数 34

ひとこと要約

この論文は、N体粒子力学と区分的放物線法（PPM）を用いた流体力学を組み合わせた並列的でブロック構造の適応メッシュ細分化（AMR）宇宙論コード、Enzoを紹介する。これにより、宇宙構造形成の高解像度シミュレーションが可能になる。主な貢献は、効率的なAMR負荷バランス、MPIベースの並列処理、および大動的範囲の堅牢な取り扱いであり、結果として初期のルートグリッドレベルに比べて有効質量分解能が最大10倍向上している。

ABSTRACT

In this paper we introduce Enzo, a 3D MPI-parallel Eulerian block-structured adaptive mesh refinement cosmology code. Enzo is designed to simulate cosmological structure formation, but can also be used to simulate a wide range of astrophysical situations. Enzo solves dark matter N-body dynamics using the particle-mesh technique. The Poisson equation is solved using a combination of fast fourier transform (on a periodic root grid) and multigrid techniques (on non-periodic subgrids). Euler's equations of hydrodynamics are solved using a modified version of the piecewise parabolic method. Several additional physics packages are implemented in the code, including several varieties of radiative cooling, a metagalactic ultraviolet background, and prescriptions for star formation and feedback. We also show results illustrating properties of the adaptive mesh portion of the code. Enzo is publicly available and can be downloaded at http://cosmos.ucsd.edu/enzo/ .

研究の動機と目的

• 大規模構造と大動的範囲の天体物理学的現象を解像できるスケーラブルで並列的かつ拡張可能な宇宙論シミュレーションコードの開発。
• 特に衝撃波の解像度が低く、質量分解能が固定であるSPHなどのラグランジュ的手法の限界を、エーラーニアングリッド手法を用いたブロック構造のAMRで克服すること。
• 放射冷却、UVバッキング、星形成フィードバックを含む複数の物理パッケージをサポートする柔軟でモジュラーなフレームワークの実装。
• MPIとHDF5を用いた負荷バランスと分散メモリシステムにおけるデータ配分の効率化を実現し、移植性とI/Oの移植性を確保すること。
• 今後の物理的追加を想定した拡張性を備えた、コミュニティ用に準備された公開シミュレーションツールの提供。

提案手法

• Enzoは、過密度、衝撃検出、ジェイン長、冷却時間基準に基づく細分化を用いたブロック構造の適応メッシュ細分化（AMR）を採用し、複数レベルにわたる動的解像度適合を可能にする。
• コードは、非衝突的N体力学のための粒子-メッシュ（PM）法を用い、ルートグリッドではFFT、非周期的サブグリッドでは多重グリッド法を用いてポアソン方程式を解く。
• 流体力学は、高次精度と衝撃の強固な捕捉を実現する修正版区分的放物線法（PPM）により解かれ、エーラーニアン有限体積スキームで実装される。
• AMR階層は、グリッドパッチのリンクリストで管理され、各グリッドは場の変数と粒子データを格納し、動的負荷バランス戦略によりプロセッサ間で分散される。
• プロセッサ間のデータ通信はMPIで処理され、流体力学とポアソンソルバーのステンシルをサポートするため、各グリッドに3ゾーン分のゴーストゾーンが設けられる。
• コードはハイブリッドなC++/Fortran 77スタックで実装されており、HDF5を用いてプラットフォームに依存しないI/Oでシミュレーション出力と再起動ファイルを扱う。

実験結果

リサーチクエスチョン

• RQ1 空間的スケールと密度スケールのオーダーにわたる大動的範囲の解像度を維持しながら、計算効率を保つことができる宇宙論的シミュレーションコードは、どのように実現できるか？
• RQ2 MPI並列処理とブロック構造のAMRを用いたコードが、適応的細分化を伴う宇宙構造形成をシミュレートする際の性能とスケーラビリティ特性はどのようなものか？
• RQ3 過密度と物理的基準に基づく適応メッシュ細分化戦略は、固定グリッドやSPH手法と比較して、質量分解能と動的範囲にどのような影響を与えるか？
• RQ4 ゴーストゾーンと多重グリッドポアソンソルバーを備えたPPM流体力学の使用は、銀河形成とフィードバックプロセスのシミュレーションにおける精度をどの程度向上させるか？
• RQ5 動的AMR階層において、通信オーバーヘッドを最小限に抑えるために、負荷バランス戦略はプロセッサ間の計算作業をどのように分配するか？

主な発見

• シミュレーションにおけるセル数は初期のルートグリッドから8〜10倍に増加し、複数レベルにわたる効果的な適応的細分化が確認された。
• セルの平均質量分解能は初期のルートグリッド分解能に対してほぼ1桁向上し、低過密度領域で最高の解像度が達成された。
• セル質量の分布は広がりを示したが、すべてのシミュレーションにおいて平均セル質量は初期のルートグリッド分解能の5〜10倍改善された。
• 細分化の閾値を低く設定したシミュレーション（例：バリオンの2.0）は、高い閾値のものよりも全体的な質量分解能が優れていたが、過密度ごとのセル質量の相対的分布は類似していた。
• 通常のラグランジュ的SPH手法では不足しがちな低密度領域が、多数のセルを有することで高解像度で解像された。
• AMR実装により、プロセッサ間で効果的な負荷バランスが達成され、ゴーストゾーンのおかげで正確なデータ交換が可能であり、通信オーバーヘッドを最小限に抑えることができた。