[論文レビュー] AMReX: Block-Structured Adaptive Mesh Refinement for Multiphysics Applications

Weiqun Zhang, Andrew Myers+3 more|arXiv (Cornell University)|Sep 25, 2020

Computer Graphics and Visualization Techniques参考文献 8被引用数 9

ひとこと要約

AMReX は、マルチフィジックスアプリケーションにおけるブロック構造的アダプティブメッシュリファインメント（AMR）を効率的かつスケーラブルに実行できる、高性能でポータブルなソフトウェアフレームワークです。このフレームワークにより、ラップトップからエクサスケールシステムまで多様なアーキテクチャでシミュレーションが可能になります。偏微分方程式（PDE）、パーティクル法、埋め込み境界、線形ソルバーのサポートを備え、コードの大規模な変更なしにCPUとGPUアーキテクチャ間でのパフォーマンスポータビリティを実現する抽象化レイヤーを提供します。

ABSTRACT

Block-structured adaptive mesh refinement (AMR) provides the basis for the temporal and spatial discretization strategy for a number of ECP applications in the areas of accelerator design, additive manufacturing, astrophysics, combustion, cosmology, multiphase flow, and wind plant modelling. AMReX is a software framework that provides a unified infrastructure with the functionality needed for these and other AMR applications to be able to effectively and efficiently utilize machines from laptops to exascale architectures. AMR reduces the computational cost and memory footprint compared to a uniform mesh while preserving accurate descriptions of different physical processes in complex multi-physics algorithms. AMReX supports algorithms that solve systems of partial differential equations (PDEs) in simple or complex geometries, and those that use particles and/or particle-mesh operations to represent component physical processes. In this paper, we will discuss the core elements of the AMReX framework such as data containers and iterators as well as several specialized operations to meet the needs of the application projects. In addition we will highlight the strategy that the AMReX team is pursuing to achieve highly performant code across a range of accelerator-based architectures for a variety of different applications.

研究の動機と目的

• ブロック構造的アダプティブメッシュリファインメント（AMR）を統合的かつ高性能に実行できるソフトウェアフレームワークを提供すること。
• 多くのコアCPUおよびGPUアクセラレーテッドシステムを含む、進化するアーキテクチャ間でパフォーマンスポータビリティを確保すること。アプリケーション固有のコード変更を必要としないこと。
• 偏微分方程式（PDE）、パーティクル、パーティクル-メッシュ操作、埋め込み境界幾何形状を含む複雑な物理的モデルをサポートすること。
• 大規模シミュレーションにおける陰解法時間刻みとチェックポイント/リスタートを実現するための効率的な線形ソルバーやI/Oを提供すること。
• 抽象化レイヤー、標準化されたデータ構造、統合されたデバッグおよびプロファイリングツールを通じて、開発および保守の負荷を低減すること。

提案手法

• 論理的に長方形のパッチを複数のリファインメントレベルに持ち、レベル単位では適切なネスティングを保証するが、個々のグリッド単位では保証しない階層的でブロック構造のメッシュを使用する。
• メッシュデータを管理するためのデータコンテナ（パッチ）とイテレータを用い、明示的および陰解法の両方の時間離散化をサポートする。
• ネイティブの幾何的 multigrid ソルバーを統合し、外部の線形代数ライブラリおよびSUNDIALSを介して剛性のあるODE系を処理する。
• 特別なデータ構造とパーティクル-メッシュ操作（例えば、パーティクル補間およびデポジション）を用いてパーティクルベースのアルゴリズムをサポートする。
• 複雑な幾何形状を表現するために埋め込み境界（カットセル）法を採用し、メッシュデータおよびパーティクルデータのための二重グリッド分割を実装する。
• アプリケーションを低レベルのハードウェア詳細から分離する抽象化レイヤーを採用し、CPUおよびGPUアーキテクチャ間でのパフォーマンスポータビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 どのようなアーキテクチャ的および抽象化的設計が、アルゴリズム的および計算的要件が異なる多様なマルチフィジックスアプリケーションを効率的にサポートできるソフトウェアフレームワークを実現するか？
• RQ2 エクサスケールおよびレガシHPCシステムを含む多様なアーキテクチャ間でパフォーマンスポータビリティを確保するために必要なアーキテクチャ的設計および抽象化とは何か？
• RQ3 ブロック構造的AMRをどのように拡張すれば、パーティクル、埋め込み境界、複雑な幾何形状を維持したままスケーラビリティとパフォーマンスを確保できるか？
• RQ4 大規模AMRアプリケーションの開発、デバッグ、プロファイリングに有効なソフトウェア工学的実践およびツールは何か？
• RQ5 数学的方程式からコード生成を行うことで、AMRベースのシミュレーションにおける生産性および保守性をどの程度向上できるか？

主な発見

• AMReX は、ラップトップからエクサスケールシステムまで、さまざまなアーキテクチャでスケーラブルかつ高性能なシミュレーションを実現しており、新しいハードウェアに移行する際のパフォーマンス劣化が最小限に抑えられている。
• フレームワークの抽象化レイヤーは、アプリケーション論理を低レベルのハードウェア詳細から明確に分離し、効率を損なわせることなくパフォーマンスポータビリティを実現している。
• AMReX は、PDE、SUNDIALSを介した剛性ODE、パーティクル、埋め込み境界を含む複雑な物理的モデルを、統合されたインfraストラクチャ内でサポートしている。
• TinyProfiler や配列の境界チェック、NaN 初期化、バックトレースを備えたデバッグモードといった統合ツールは、デバッグ時間を顕著に短縮し、コードの信頼性を向上させた。
• 二重グリッド分割のサポートにより、メッシュとパーティクルのドメイン分割を独立して行えるようになり、パーティクル-メッシュシミュレーションにおけるロードバランシングが向上した。
• 一般相対性理論やボルツマン方程式などの方程式からプロトタイプのコード生成を実施した結果、複雑な物理的モデルの開発を加速する可能性が示された。