[論文レビュー] A generic finite element framework on parallel tree-based adaptive meshes

Santiago Badia, Alberto F. Martı́n+2 more|arXiv (Cornell University)|Jul 8, 2019

Advanced Numerical Methods in Computational Mathematics参考文献 23被引用数 20

ひとこと要約

本稿では、2層構造のメッシュ表現（軽量なオクトリーフォレストと、有限要素に適合する高機能なメッシュ層）を用いた、形式的検証付きで並列処理が可能な分散メモリ型の有限要素フレームワークを提示する。このフレームワークは、ハングドノード制約と並列アセンブリの正しさを、きめ細かな数学的証明により保証し、32,200コアまで強スケーリングを達成し、適応型ポアソン問題およびマクスウェル問題においてdeal.IIより2–3倍の性能向上を実現した。

ABSTRACT

In this work we formally derive and prove the correctness of the algorithms and data structures in a parallel, distributed-memory, generic finite element framework that supports h-adaptivity on computational domains represented as forest-of-trees. The framework is grounded on a rich representation of the adaptive mesh suitable for generic finite elements that is built on top of a low-level, light-weight forest-of-trees data structure handled by a specialized, highly parallel adaptive meshing engine, for which we have identified the requirements it must fulfill to be coupled into our framework. Atop this two-layered mesh representation, we build the rest of data structures required for the numerical integration and assembly of the discrete system of linear equations. We consider algorithms that are suitable for both subassembled and fully-assembled distributed data layouts of linear system matrices. The proposed framework has been implemented within the FEMPAR scientific software library, using p4est as a practical forest-of-octrees demonstrator. A strong scaling study of this implementation when applied to Poisson and Maxwell problems reveals remarkable scalability up to 32.2K CPU cores and 482.2M degrees of freedom. Besides, a comparative performance study of FEMPAR and the state-of-the-art deal.ii finite element software shows at least comparative performance, and at most factor 2-3 improvements in the h-adaptive approximation of a Poisson problem with first- and second-order Lagrangian finite elements, respectively.

研究の動機と目的

• 適応型木構造メッシュ上で並列処理が可能な汎用的でスケーラブルかつ正しく保証された有限要素フレームワークの開発。
• 分散メモリ環境下でハングドノードと制約を処理する並列アルゴリズムの正しさを形式的に証明すること。
• 2層構造のメッシュ抽象化を用いて、非適合メッシュ上での線形系の効率的かつスケーラブルなアセンブリを可能にすること。
• モジュラーかつ拡張性に優れたソフトウェア設計を採用し、大規模問題において高い性能と強スケーリングを達成すること。
• 統一されたフレームワーク内で多様なセルトポロジー、メッシュの細分化ルール、および有限要素タイプをサポートする基盤を提供すること。

提案手法

• 2層構造のメッシュ抽象化を採用：低レベルで軽量なオクトリーフォレスト（p4estを介して）をメッシュ管理に、高レベルで適合性を持つメッシュ表現を有限要素演算に使用。
• 空間を満たす曲線（SFCs）、特にモーターマンインデックスを用いて、適応型木構造メッシュにおける効率的な走査、分割、近接ノード探索を実現。
• メッシュデータ構造とアルゴリズムを数学的命題と証明を用いて形式化し、ハングドノード制約とゴーストセル依存関係の正しさを保証。
• 重複しないドメイン分割ソルバーに対応するため、部分アセンブルおよび完全アセンブルの両方の行列レイアウトをサポートするデータ構造とアルゴリズムを設計。
• FEMPARライブラリ内にフレームワークを実装し、p4estをオクトリーフォレストエンジンとして使用。
• すべてのハングド自由度の制約が、1層のゴーストセルのみを用いて局所的に計算可能であることを保証し、依存関係の局所性をきめ細かな証明で検証。

実験結果

リサーチクエスチョン

• RQ1 1層のゴーストセルのみを用いた分散メモリ環境下で、ハングドノード制約を正しく計算できる条件は何か？
• RQ2 任意のセルトポロジーと細分化ルールをサポートしつつ、木構造メッシュ上で正しさを保証する汎用的有限要素フレームワークをどのように設計できるか？
• RQ3 適応型非適合メッシュにおいて、プロセッサ境界を越えた制約依存関係の局所性について、どのような数学的保証を提供できるか？
• RQ4 提案されたフレームワークは、deal.IIなどの最先端の有限要素ソフトウェアに比べて、どのようにして強スケーリングと同等または優れた性能を達成するか？
• RQ5 制約依存関係が1層のゴーストセル境界を越えないように保証するための、メッシュ細分化およびバランスルールの必要十分条件は何か？

主な発見

• フレームワークは、ポアソン問題およびマクスウェル問題において、最大32,200コア、4億8,200万自由度まで強スケーリングを達成した。
• FEMPARにおける実装は、1次および2次ラグランジュ有限要素を用いたh適応解法において、deal.IIと同等以上、最大2–3倍の性能向上を示した。
• 数学的証明により、2:1 kバランスメッシュと1層のゴーストセルを用いる場合、ハングドノード制約が局所的にアクセス可能な自由度にのみ依存することを形式的に確立した。
• 2:1 kバランス条件の下で、制約依存関係が1層のゴーストセル境界を越えないことを証明することで、並列アセンブリの正しさを保証した。
• 低レベルのメッシュ管理と高レベルの有限要素データ構造を分離する2層構造のメッシュ抽象化により、汎用性、正しさ、高い性能が実現された。
• 理論的基盤とt8codeおよびFEMPARにおける実装を通じて、任意の多角形セルおよび細分化ルールへの拡張性が示された。