[论文解读] Development of Massively Parallel Near Peak Performance Solvers for Three-Dimensional Geodynamic Modelling

Samuel Omlin, Räss, Ludovic+2 more|arXiv (Cornell University)|Jul 18, 2022

Drilling and Well EngineeringEngineering被引用 17

一句话总结

本文提出 HPC.m，一种基于 MATLAB 的编译器，可支持开发大规模并行、接近峰值性能的 3D 地球动力学模拟求解器。该研究引入了用于模拟非线性孔隙度波（包括机械与反应型）的并行算法，在 Piz Daint 的 80 张 GPU 上实现线性加速，在 5,000 张 GPU 上实现接近理想的加速，且在不同 Damköhler 数下观察到类似孤子的波传播行为。

ABSTRACT

We address in this thesis the current need to design new parallel algorithms and tools that ease the development of geodynamic modelling applications that are suited for today's and tomorrow's hardware. We present (1) the MATLAB HPC compiler HPC.m, which greatly simplifies the building of parallel high performance applications and (2) parallel algorithms for the 3D simulation of strongly nonlinear processes as mechanical and reactive porosity waves. To simulate mechanical porosity waves we employ a massively parallel algorithm that permits to resolve the deformation of fluid-filled viscoelastic porous media in 3D. The utilized mathematical model is based on Biot's poroelastic theory, extended to account for viscous deformation and plastic yielding. The modelling results exhibit the impact of decompaction weakening on the formation of three-dimensional solitary-wave-like moving porosity channels. To simulate reactive porosity waves we use a solver for 3D deformation of fluid-filled reactive viscous porous media. The Damköhler number (Da) of the simulations is varied in order to estimate the respective roles of viscous deformation (low Da) and reaction (high Da) on wave propagation. 3D waves are found to propagate independently of their source at constant speed by going through each other for all the investigated Da. Soliton-like wave propagation as a result of metamorphic reaction provides an efficient mechanism for fluid flow in the Earth's crust. We illustrate the great performance and versatility of HPC.m by deploying it to generate solvers for a variety of physics across multiple Earth Science disciplines. All solvers run close to hardware's peak performance and were shown to scale linearly on a institute cluster with 80 GPUs. Moreover, our nonlinear poroviscoelastic two-phase flow solver scales close to ideally on Piz Daint's 5000 GPUs at the Swiss National Supercomputing Centre.

研究动机与目标

• 应对现代异构硬件环境下对高性能、可移植并行地球动力学建模工具日益增长的需求。
• 开发领域专用编译器 HPC.m，简化 MATLAB 中高性能并行应用的开发。
• 实现对复杂 3D 地球动力学过程（如机械与反应型孔隙度波）的精确、可扩展模拟。
• 在大规模 GPU 集群上实现非线性孔隙黏弹性流问题的接近峰值性能与强可扩展性。
• 通过调节 Damköhler 数，研究黏性变形与化学反应在 3D 孔隙度波动力学中的作用。

提出的方法

• 实现 HPC.m，一种 MATLAB HPC 编译器，可将高层 MATLAB 代码自动转换为针对 GPU 和分布式系统的优化、可移植并行代码。
• 应用扩展的 Biot 孔隙弹性理论，引入黏性变形与塑性屈服，以模拟充满流体的黏弹性多孔介质。
• 开发用于反应性多孔介质的非线性双相流求解器，整合反应动力学与可变 Damköhler 数（Da）。
• 在分布式内存 GPU 集群上，采用完全显式、完全并行的有限差分格式与域分解方法进行 3D 模拟。
• 采用交错网格离散化方法，并结合针对内存带宽与负载均衡优化的迭代求解器。
• 在机构级 GPU 集群与 CSCS 的 Piz Daint 超级计算机上对求解器进行验证与基准测试，最高使用 5,000 张 GPU。

实验结果

研究问题

• RQ1 高层级编译器 HPC.m 是否可在无需底层编码的情况下，实现 3D 地球动力学模拟的接近峰值性能？
• RQ2 在去致密化弱化条件下，3D 黏弹性多孔介质中的机械孔隙度波如何演化？
• RQ3 在 3D 反应型孔隙度波传播中，黏性变形（低 Da）与化学反应（高 Da）各自发挥何种作用？
• RQ4 3D 孔隙度波是否表现出类似孤子的行为，即在相互作用时保持形状与速度不变？
• RQ5 求解器在大规模 GPU 集群（如拥有 5,000 张 GPU 的 Piz Daint）上可实现多大程度的线性可扩展性？

主要发现

• HPC.m 编译器可实现接近 GPU 硬件峰值性能的 3D 地球动力学求解器开发。
• 非线性孔隙黏弹性求解器在 80 张 GPU 集群上实现线性加速，验证了其出色的可移植性与效率。
• 在 Piz Daint 上，求解器在 5,000 张 GPU 上实现接近理想的加速，证实其已具备支持百亿亿次级地球动力学模拟的能力。
• 由于去致密化弱化效应，机械孔隙度波形成 3D 孤子波状通道，与扩展的 Biot 模型预测一致。
• 反应型孔隙度波在相互交叉时保持恒定速度与形状，表明在所有测试的 Damköhler 数下均表现出类似孤子的行为。
• 本研究证实，变质反应可通过稳定传播的孔隙度波，有效驱动地壳中远距离的流体流动。