[論文レビュー] ForestClaw: Hybrid forest-of-octrees AMR for hyperbolic conservation laws

Carsten Burstedde, Donna Calhoun+2 more|arXiv (Cornell University)|Aug 7, 2013

Computational Fluid Dynamics and AerodynamicsEngineering参考文献 17被引用数 18

ひとこと要約

ForestClawは、p4estのスケーラブルな木構造AMRとClawpackのパッチベースのソルバを組み合わせたハイブリッドフォレスト・オブ・オクトリーブAMRフレームワークを導入する。各AMRリーフを$m^d$自由度を持つ均一な計算パッチとして扱うことで、最大16,384コアのCPU上で82%の並列効率を達成する高パフォーマンスで負荷がバランス取れたシミュレーションを可能にする。

ABSTRACT

We present a new hybrid paradigm for parallel adaptive mesh refinement (AMR) that combines the scalability and lightweight architecture of tree-based AMR with the computational efficiency of patch-based solvers for hyperbolic conservation laws. The key idea is to interpret each leaf of the AMR hierarchy as one uniform compute patch in $\sR^d$ with $m^d$ degrees of freedom, where $m$ is customarily between 8 and 32. Thus, computation on each patch can be optimized for speed, while we inherit the flexibility of adaptive meshes. In our work we choose to integrate with the p4est AMR library since it allows us to compose the mesh from multiple mapped octrees and enables the cubed sphere and other nontrivial multiblock geometries. We describe aspects of the parallel implementation and close with scalings for both MPI-only and OpenMP/MPI hybrid runs, where the largest MPI run executes on 16,384 CPU cores.

研究の動機と目的

• 木構造AMRの柔軟性とパッチベースのソルバの効率性を組み合わせた、双曲型保存則に適したスケーラブルで高パフォーマンスなAMRフレームワークの開発。
• モジュラーで合成可能な設計においてMPIとOpenMPスレーディングモデルを統合することで、現代のマルチコアアーキテクチャにおける効率的な並列処理を実現。
• p4estのブロック構造メッシュ合成機能を活用して、キューブド・スフィアのような複雑なマルチブロック幾何構造をサポート。
• パッチ境界を越えた近隣パッチの交換パターンとゴーストセル管理を最適化することで、AMRにおける通信オーバーヘッドを最小限に抑える。
• 大規模HPCシステムにおいて高い並列効率と強いスケーリングを達成し、ハイブリッドMPI/OpenMP実行で最大16,384コアのCPUを活用。

提案手法

• 各p4estオクトリーブリーフを$\mathbb{R}^d$上に1つの計算パッチとしてマップし、$m^d$自由度を有することで、各パッチにおける最適化されたカーネルパフォーマンスを実現。
• メッシュの細分化、粗化、並列分割を最小限のメタデータオーバーヘッドで管理するAMRインfraとしてp4estを基盤に使用。
• Clawpack/Manyclawと統合し、各パッチで波伝搬アルゴリズムを用いた時間積分を実行することで、数値的精度と安定性を維持。
• MPIランクがローカルパッチを管理し、各パッチ内でOpenMPスレッドを用いてノード内並列処理を実現するハイブリッドMPI+OpenMP並列モデルを実装。
• p4estからForestClawへの隣接パッチ接続情報の伝達を定数時間のルックアップインターフェースを介して行い、複雑なブロック境界を越えた効率的なゴーストセル交換を可能に。
• p4estの並列アルゴリズムを用いてレベル間で2:1の細分化バランス条件を強制することで、メッシュの一貫性を保ち、非局所的細分化アーチファクトを回避。

実験結果

リサーチクエスチョン

• RQ1 木構造メッシュ管理とパッチベースのソルバを組み合わせたハイブリッドフォレスト・オブ・オクトリーブAMRフレームワークは、双曲型保存則のシミュレーションにおいて高いスケーラビリティとパフォーマンスを達成できるか？
• RQ2 AMRリーフ上のパッチベースアプローチは、従来のセル単位の有限体積法と比較して、計算効率と並列スケーリングの面で優れているか？
• RQ3 サブサイクルを伴う適応的メッシュ細分化は、大規模シミュレーションにおける全体の実行時間と負荷バランスにどのような影響を及ぼすか？
• RQ4 複雑なブロック接続を持つマルチブロックで非一様なAMR環境において、ゴーストセル交換をどの程度効率的に最適化できるか？
• RQ5 p4estとClawpackの統合により、キューブド・スフィアのような複雑な幾何構造をサポートしつつ、高い並列効率を維持できるか？

主な発見

• MPIオンリーランで最大16,384コアで82%の並列効率を達成し、4,096コアまで96%の効率で強い弱スケーリングを示した。
• サブサイクルを伴う適応的メッシュ細分化により、均一に細分化されたメッシュと比較して合計実行時間が最大50倍短縮され、実行時間はP=16の252秒からP=256の17.3秒に低下した。
• 弱スケーリング実行において最大4,096コアまで、ゴーストパッチ交換が合計時間の16%未満に抑えられ、通信オーバーヘッドが管理可能であることが示された。
• 16から256MPIランの範囲で、1ステップあたりの時間積分が線形にスケーリングされ、ステップ時間は1.115秒から0.092秒に減少した。これにより良好な負荷バランスが確認された。
• ハイブリッドMPI+OpenMPモデルにより、16,384コアで強いスケーリングが達成され、並列効率は82%であった。また、球面輸送例では、パーティションを越えても安定した細分化の整合性が維持された。
• 2:1バランス条件はp4estの並列アルゴリズムにより強制され、非局所的細分化効果が防止され、レベル間でメッシュの一貫性が保たれた。