[论文解读] Large-scale earthquake sequence simulations of 3D geometrically complex faults using the boundary element method accelerated by lattice H-matrices on distributed memory computer systems

So Ozawa, Akihiro Ida+2 more|arXiv (Cornell University)|Oct 23, 2021

earthquake and tectonic studies参考文献 32被引用 5

一句话总结

本文提出一种可扩展的边界元法（BEM），用于在几何复杂的断层上进行大规模3D地震序列模拟，通过在分布式内存系统上使用格子H-矩阵实现加速。该方法实现了超过10,000倍的并行加速，并且相较于标准H-矩阵性能提升逾10倍，使得在超级计算机上实现前所未有的模拟成为可能。

ABSTRACT

Large-scale earthquake sequence simulations using the boundary element method (BEM) incur extreme computational costs through multiplying a dense matrix with a slip rate vector. Recently, hierarchical matrices (H-matrices) have often been used to accelerate this multiplication. However, the complexity of the structures of the H-matrices and the communication costs between processors limit their scalability, and they therefore cannot be used efficiently in distributed memory computer systems. Lattice H-matrices have recently been proposed as a tool to improve the parallel scalability of H-matrices. In this study, we developed a method for earthquake sequence simulations applicable to 3D nonplanar faults with lattice H-matrices. We present a simulation example and verify the accuracy of our method for a 3D nonplanar thrust fault. We also performed performance and scalability analyses of our code. Our simulations, using over 10^5 degrees of freedom, demonstrated a parallel acceleration beyond 10^4 MPI processors and a >10-fold acceleration over the best performance when the normal H-matrices are used. Using this code, we can perform unprecedented large-scale earthquake sequence simulations on geometrically complex faults with supercomputers.

研究动机与目标

• 解决在三维非平面断层上进行地震序列BEM模拟时密集矩阵-向量乘法带来的高计算成本问题。
• 克服传统分层矩阵（H-矩阵）在分布式内存系统中因复杂数据结构和通信开销导致的可扩展性限制。
• 开发一种基于格子H-矩阵的可扩展模拟框架，以加速大规模、几何复杂的断层系统的BEM模拟。
• 在超级计算机上实现大规模、高保真度的地震序列模拟，模拟自由度超过10^5。
• 在三维非平面逆冲断层模型上验证所提方法的准确性和性能。

提出的方法

• 采用边界元法（BEM）对三维几何复杂的断层进行建模，通过边界积分方程表示滑移与应力相互作用。
• 利用格子H-矩阵加速BEM中的密集矩阵-向量乘法，通过简化数据分布和降低通信成本，提升并行可扩展性。
• 在分布式内存系统上使用MPI实现格子H-矩阵结构，实现高效的负载均衡并减少处理器间通信。
• 将格子H-矩阵的压缩与组装过程集成到可扩展的BEM求解器中，用于地震序列模拟。
• 采用自适应交叉逼近（ACA）对格子H-矩阵结构中的低秩块进行压缩，保持精度的同时减少存储和计算开销。
• 设计一种混合并行策略，结合域分解与任务级并行，以最大化在超级计算架构上的性能表现。

实验结果

研究问题

• RQ1 格子H-矩阵是否能在分布式内存系统中有效加速三维非平面断层的BEM模拟？
• RQ2 在大规模地震序列模拟中，格子H-矩阵相较于标准H-矩阵在性能和可扩展性方面表现如何？
• RQ3 格子H-矩阵在多大程度上能够支持在超级计算机上实现超过10^5个自由度的模拟？
• RQ4 当应用于三维非平面逆冲断层构型时，所提方法的精度如何？
• RQ5 在超过10^4个MPI进程上，格子H-矩阵可实现多大程度的并行加速？

主要发现

• 当在超过10^4个MPI处理器上扩展时，所提方法实现了超过10,000倍的并行加速，展现出卓越的可扩展性。
• 格子H-矩阵方法相较于性能最佳的标准H-矩阵实现，性能提升超过10倍。
• 该方法在模拟三维非平面逆冲断层时保持了高精度，验证了其在复杂断层几何形态下的可靠性。
• 模拟规模超过10^5个自由度，实现了大规模、高分辨率的地震序列建模。
• 格子H-矩阵结构降低了通信开销并改善了负载均衡，使其适用于面向百亿亿次计算的模拟。
• 该框架支持在现代超级计算机上高效进行大规模地震序列模拟，为研究复杂断层系统开辟了新可能。