[論文レビュー] Scalable Algorithms for Parallel Tree-based Adaptive Mesh Refinement with General Element Types

Johannes Holke|arXiv (Cornell University)|Mar 13, 2018

Computational Geometry and Mesh Generation参考文献 34被引用数 6

ひとこと要約

本稿では、単体要素用に新規に開発された四面体モータル空間再帰曲線（TM-SFC）を用いた、スケーラブルで要素種別に依存しない適応的メッシュ細分化（AMR）フレームワークを提示する。この手法により、アンカー節点座標と要素種別をビット単位で入れ替えることで、三角形および四面体に対する定数時間の低レベル操作が可能となり、最大917,504コア、8580億個の要素で強い並列スケーリングと弱い並列スケーリングを達成した。本アプローチは動的ロードバランシング、ゴーストレイヤー管理、ハイブリッドメッシュをサポートし、p4estとの統合により、角柱や六面体を含む多様な要素種別において高い性能を発揮した。

ABSTRACT

In this thesis, we develop, discuss and implement algorithms for scalable parallel tree-based adaptive mesh refinement (AMR) using space-filling curves (SFCs). We create an AMR software that works independently of the used element type, such as for example lines, triangles, tetrahedra, quadrilaterals, hexahedra, and prisms. Along with a detailed mathematical discussion, this requires the implementation as a numerical software and its validation, as well as scalability tests on current supercomputers. For triangular and tetrahedral elements (simplices) with red-refinement (1:4 in 2D, 1:8 in 3D), we develop a new SFC index, the tetrahedral Morton index (TM-index). Its construction is similar to the Morton index for quadrilaterals/hexahedra, as it is also based on bitwise interleaving the coordinates of a certain vertex of the simplex, the anchor node. We develop and demonstrate a new simplicial SFC and create a fast and scalable tree-based AMR software that offers a flexibility and generality that was previously not available.

研究の動機と目的

• 任意の要素種別（単体、四角形、六面体、角柱など）をサポートする汎用的でスケーラブルなAMRフレームワークの開発。
• 四面体および三角形要素用に、効率的な定数時間のメッシュ操作と良好な並列分割特性を兼ね備えた空間再帰曲線（SFC）の設計。
• 要素種別固有の論理を高レベルのAMRアルゴリズムから分離するモジュラーで低レベルのAPIの実装により、異なる要素種別間での再利用を可能に。
• 通信オーバーヘッドを最小限に抑える高パフォーマンスな並列AMRのための粗いメッシュ再分割およびゴーストレイヤー管理の最適化。
• エクサスケール規模のスーパーコンピュータ上で最大8580億個のメッシュ要素を用いてフレームワークを検証し、2次元／3次元ハイブリッドメッシュのサポートを実証。

提案手法

• 単体要素用に、古典的なモータルインデックスを拡張し、アンカー節点座標と要素種別識別子をビット単位で入れ替える四面体モータル空間再帰曲線（TM-SFC）を導入。
• SFCインデックスを用いて要素局所操作（親要素、子要素、面隣接要素など）を抽象化する低レベルAPIを定義し、種別に依存しない実装を可能に。
• ツリー間の面隣接要素計算のためのトップダウン探索最適化を実装し、ゴーストレイヤー生成を10～20倍高速化。
• 通信量を最小限に抑え、負荷バランスを達成する粗いメッシュ再分割アルゴリズムを設計。JUQUEENスーパーコンピュータ上で917,504プロセスで3710億本のツリーを1.2秒で処理。
• TM-SFCをt8codeライブラリに統合し、六面体および四角形要素にはp4estを再利用。同時に実装された角柱対応により、ハイブリッドメッシュへの対応を拡張。
• SFCに基づく分割法を用い、面接続成分の理論的上限を提示：2次元では2(L−1)、3次元では2L+1。通信オーバーヘッドの予測可能性を保証。

実験結果

リサーチクエスチョン

• RQ1 四面体および三角形要素用に、定数時間の要素操作を可能にするとともに良好な並列分割特性を維持する空間再帰曲線を設計できるか？
• RQ2 角柱や単体を含む多様な要素種別をサポートするモジュラーで要素種別に依存しないAMRフレームワークを、どのようにアーキテクチャ設計できるか？
• RQ3 四面体メッシュのSFCベースのメッシュ分割における、面接続成分の理論的上限は何か？
• RQ4 通信量を最小限に抑えながら、エクスタームスケールスーパーコンピュータ上でスケーリング効率の高い粗いメッシュ再分割を最適化できるか？
• RQ5 パフォーマンスを犠牲にせずに、種別に依存しないAMRフレームワークでゴーストレイヤーをどれほど効率的に生成・管理できるか？

主な発見

• TM-SFCを用いることで、四面体および三角形要素について、それぞれ14バイトおよび10バイトのメモリ使用量で親要素、子要素、面隣接要素の計算を定数時間で実行可能であり、古典的なモータルインデックスと同等のメモリ効率を達成。
• SFC分割における面接続成分の数は、2次元で2(L−1)、3次元で2L+1の上限に抑えられ、細分化レベルLに応じた通信スケーリングの予測可能性を保証。
• 粗いメッシュ再分割アルゴリズムは、JUQUEENスーパーコンピュータ上で917,504プロセスで3710億本のツリーを処理する際、1.2秒の実行時間で達成。
• 最適化されたトップダウン探索法を用いたゴーストレイヤー生成は、単純なアプローチに比べ10～20倍の高速化を達成し、固定種別実装と同等のパフォーマンスに到達。
• 最大917,504プロセス、8580億個のメッシュ要素を用いた実験で、優れた強いスケーリングおよび弱いスケーリングを示し、エクサスケール対応の妥当性を確認。
• t8codeとp4estの統合による六面体要素対応および同時に実装された角柱対応により、2次元／3次元ハイブリッドメッシュに、混合要素種別を完全にサポート。