[論文レビュー] ForestClaw: A parallel algorithm for patch-based adaptive mesh refinement on a forest of quadtrees

Donna Calhoun, Carsten Burstedde|arXiv (Cornell University)|Mar 9, 2017

Computational Fluid Dynamics and Aerodynamics参考文献 24被引用数 5

ひとこと要約

ForestClaw は、p4est ライブラリによって管理される重複のない四分木の森を用いて、時間に依存する双曲型 PDE のスケーラブルでマルチブロックなシミュレーションを可能にする並列的でパッチベースの適応メッシュリファインメント（AMR）フレームワークである。64,000 個の MPI プロセスまで強いスケーラビリティと弱いスケーラビリティを達成し、再メッシュ化のオーバーヘッドをほとんど無視できるほど低く抑え、効率的なゴーストセル通信と、マップされた複雑な幾何形状（立方体球を含む）における有限体積スキーム用 Clawpack ソルバとの統合を活用している。

ABSTRACT

We describe a parallel, adaptive, multi-block algorithm for explicit integration of time dependent partial differential equations on two-dimensional Cartesian grids. The grid layout we consider consists of a nested hierarchy of fixed size, non-overlapping, logically Cartesian grids stored as leaves in a quadtree. Dynamic grid refinement and parallel partitioning of the grids is done through the use of the highly scalable quadtree/octree library p4est. Because our concept is multi-block, we are able to easily solve on a variety of geometries including the cubed sphere. In this paper, we pay special attention to providing details of the parallel ghost-filling algorithm needed to ensure that both corner and edge ghost regions around each grid hold valid values. We have implemented this algorithm in the ForestClaw code using single-grid solvers from ClawPack, a software package for solving hyperbolic PDEs using finite volumes methods. We show weak and strong scalability results for scalar advection problems on two-dimensional manifold domains on 1 to 64Ki MPI processes, demonstrating neglible regridding overhead.

研究の動機と目的

• 複雑な幾何形状における時間に依存する双曲型 PDE を解くためのスケーラブルで並列な AMR フレームワークの開発。
• メッシュ管理をソルバーロジックから分離し、検証済みのソルバーやメッシュ生成アルゴリズムのモジュラーな再利用を可能にする。
• 並列でマルチブロックな環境下で、グリッド界面、特にコーナー部やエッジ部においても、正確で効率的なゴーストセル通信を保証する。
• 平坦領域および曲面領域の両方において、大規模システムでの高い並列スケーラビリティと低い再メッシュ化オーバーヘッドを実証する。
• 堅牢なマルチブロックインfraストラクチャを介して、マップされたグリッド、特に立方体球を含む、柔軟で高性能なシミュレーションをサポートする。

提案手法

• フレームワークは p4est ライブラリを用いて、動的で重複のない、論理的に直交座標系のマルチリソリューション階層を四分木として格納したグリッドを管理する。
• 各グリッドのリーフは、Clawpack に含まれる単一グリッドの有限体積ソルバによって処理され、ソルバ固有の詳細が抽象化される。
• 独自の並列ゴーストセル補完アルゴリズムにより、グリッド界面全域でコーナー部やエッジ部のゴースト領域に有効なデータが保証され、安定した時間積分が可能になる。
• ブロック構造のインデックス化方式により、マルチブロックドメインにおける方向の不一致や隣接関係を処理し、グリッド間通信を管理する。
• グローバルおよび局所的適応時間刻みをサポートし、動的再メッシュ化と解の新しいグリッドへの再投影を実装する。
• 実装では、MPI プロセス間での効率的な並列分割と負荷分散のため、空間を満たすカーブ（space-filling curves）が用いられる。

実験結果

リサーチクエスチョン

• RQ1 フォレスト・オブ・クアッドツリー AMR フレームワークは、大規模 HPC システムでどのようにして強いスケーラビリティと弱いスケーラビリティを達成できるか？
• RQ2 マルチブロックでパッチベースの AMR 環境下で、動的グリッド再メッシュ化とゴーストセル通信に起因するパフォーマンスオーバーヘッドはどの程度か？
• RQ3 ゴーストセル補完アルゴリズムは、特にコーナーやエッジ部において、どのようにしてグリッド界面全域で正確性と一貫性を保証するか？
• RQ4 計算の強度と適応性のバランスを最適化するには、最適なグリッドサイズと細分化度（プロセスあたりのグリッド数）はどの程度か？
• RQ5 パフォーマンスの損失を最小限に抑えながら、立方体球のような複雑な幾何形状を効率的にサポートできるか？

主な発見

• ForestClaw は、スカラー移流問題に対して最大 64,000 MPI プロセスまで強いスケーラビリティと弱いスケーラビリティを達成し、再メッシュ化のオーバーヘッドはほとんど無視できる。
• プロセスあたり最低 100 個のグリッドを用いる場合、適応効率が 90% を超えることが確認され、計算リソースの高い活用度が示された。
• 立方体球領域におけるセル処理レートは、平坦領域に比べて約 1 時間程度低く、追加の計量項計算が要因である。
• 複雑な幾何形状に対しても高いパフォーマンスを維持でき、32×32 グリッドサイズが適応性と算術強度の間で良好なトレードオフを提供する。
• ゴーストセル補完アルゴリズムは、コーナーやエッジを含むすべてのインターフェースタイプでデータの有効性を正しく維持でき、安定した 2 階の有限体積スキームの実行を可能にした。
• マルチブロックおよび空間を満たすカーブによる分割戦略のおかげで、均一に細分化された領域でも高いキャッシュ性能と負荷分散が実現された。