[論文レビュー] Development of Massively Parallel Near Peak Performance Solvers for Three-Dimensional Geodynamic Modelling

Samuel Omlin, Räss, Ludovic+2 more|arXiv (Cornell University)|Jul 18, 2022

Drilling and Well EngineeringEngineering被引用数 17

ひとこと要約

本稿では、3次元地球物理学的シミュレーションのための巨大並列処理・ほぼピーク性能を実現するMATLABベースのコンパイラHPC.mを提示する。非線形多孔質波（機械的および反応的）の並列アルゴリズムを導入し、Piz Daintの80枚のGPUでは線形スケーリング、5,000枚のGPUではほぼ理想のスケーリングを達成した。また、異なるDamköhler数においてソリトン様の波動伝播が観察された。

ABSTRACT

We address in this thesis the current need to design new parallel algorithms and tools that ease the development of geodynamic modelling applications that are suited for today's and tomorrow's hardware. We present (1) the MATLAB HPC compiler HPC.m, which greatly simplifies the building of parallel high performance applications and (2) parallel algorithms for the 3D simulation of strongly nonlinear processes as mechanical and reactive porosity waves. To simulate mechanical porosity waves we employ a massively parallel algorithm that permits to resolve the deformation of fluid-filled viscoelastic porous media in 3D. The utilized mathematical model is based on Biot's poroelastic theory, extended to account for viscous deformation and plastic yielding. The modelling results exhibit the impact of decompaction weakening on the formation of three-dimensional solitary-wave-like moving porosity channels. To simulate reactive porosity waves we use a solver for 3D deformation of fluid-filled reactive viscous porous media. The Damköhler number (Da) of the simulations is varied in order to estimate the respective roles of viscous deformation (low Da) and reaction (high Da) on wave propagation. 3D waves are found to propagate independently of their source at constant speed by going through each other for all the investigated Da. Soliton-like wave propagation as a result of metamorphic reaction provides an efficient mechanism for fluid flow in the Earth's crust. We illustrate the great performance and versatility of HPC.m by deploying it to generate solvers for a variety of physics across multiple Earth Science disciplines. All solvers run close to hardware's peak performance and were shown to scale linearly on a institute cluster with 80 GPUs. Moreover, our nonlinear poroviscoelastic two-phase flow solver scales close to ideally on Piz Daint's 5000 GPUs at the Swiss National Supercomputing Centre.

研究の動機と目的

• 現代の異種ハードウェアに適した、高パフォーマンスでポータブルな並列地球物理学的モデリングツールの需要増加に対応する。
• MATLABにおける高パフォーマンス並列アプリケーションの作成を簡素化するドメイン特化コンパイラ（HPC.m）を開発する。
• 機械的および反応的多孔質波を含む、複雑な3次元地球物理学的プロセスの正確でスケーラブルなシミュレーションを可能にする。
• 非線形ポリビスコエラスティック流れ問題について、大規模GPUクラスタ上でほぼピークパフォーマンスと強いスケーリングを達成する。
• 可変Damköhler数を用いて、3次元多孔質波動のダイナミクスにおける粘性変形と化学反応の役割を調査する。

提案手法

• 高レベルのMATLABコードをGPUおよび分散システム向けに最適化されたポータブル並列コードに変換するMATLAB HPCコンパイラHPC.mを実装する。
• 粘性変形および塑性降伏を含む拡張Biotの多孔質弾性理論を用いて、流体を含むビスコエラスティック多孔質媒体をモデル化する。
• 反応性多孔質媒体の非線形2相流ソルバーを開発し、反応速度論と可変Damköhler数（Da）を組み込む。
• 分散メモリGPUクラスタ上の3次元シミュレーションに、完全に明示的かつ完全に並列化された有限差分法とドメイン分割を用いる。
• ステアガードグリッド離散化と、メモリ帯域幅および負荷分散最適化された反復ソルバーを採用する。
• 機関のGPUクラスタおよびCSCSのPiz Daintスーパーコンピュータ上でソルバーを検証・ベンチマークし、最大5,000枚のGPUを用いる。

実験結果

リサーチクエスチョン

• RQ1 高レベルコンパイラHPC.mを用いることで、低レベルコーディングを伴わずして3次元地球物理学的シミュレーションでほぼピークパフォーマンスを達成できるか？
• RQ2 分解縮小弱化の下で、3次元ビスコエラスティック多孔質媒体内における機械的多孔質波はどのように進化するか？
• RQ3 3次元反応的多孔質波の伝播において、粘性変形（低Da）と化学反応（高Da）のそれぞれの役割は何か？
• RQ4 3次元多孔質波は、相互作用する際に形状と速度を維持するソリトン様の挙動を示すか？
• RQ5 Piz Daintのような大規模GPUクラスタ上でのソルバーは、どの程度線形にスケーリングできるか？（5,000枚のGPUを想定）

主な発見

• HPC.mコンパイラにより、GPUハードウェア上でほぼピークパフォーマンスを達成する3次元地球物理学的ソルバーの開発が可能になった。
• 非線形ポリビスコエラスティックソルバーは80枚GPUクラスタ上で線形スケーリングを示し、強力なポータビリティと効率性を確認した。
• Piz Daintでは、5,000枚のGPUでほぼ理想のスケーリングを達成した。これは、エクサスケール地球物理学的シミュレーションへの準備が整っていることを裏付けた。
• 分解縮小弱化の下で、拡張Biotモデルの予測通り、3次元ソリトン波に類似したチャネルが機械的多孔質波として形成された。
• 反応的多孔質波は、すべてのテストされたDamköhler数において、互いに交差しても一定速度で形状を維持し、ソリトン様の挙動を示した。
• 本研究により、変質反応が安定した伝播する多孔質波を通じて、地球の亀裂内に効率的かつ長距離の流体移動を引き起こす可能性があることが確認された。