[論文レビュー] Large-scale earthquake sequence simulations of 3D geometrically complex faults using the boundary element method accelerated by lattice H-matrices on distributed memory computer systems

So Ozawa, Akihiro Ida+2 more|arXiv (Cornell University)|Oct 23, 2021

earthquake and tectonic studies参考文献 32被引用数 5

ひとこと要約

本稿では、分散メモリシステム上でラティスH行列を用いて加速された、大規模3次元地震シーケンスシミュレーションに適応可能な境界要素法（BEM）を提示する。本手法は10,000倍を超える並列スループット向上と、標準H行列よりも10倍以上の性能向上を達成し、スーパーコンピュータ上で前例のない規模のシミュレーションを可能にする。

ABSTRACT

Large-scale earthquake sequence simulations using the boundary element method (BEM) incur extreme computational costs through multiplying a dense matrix with a slip rate vector. Recently, hierarchical matrices (H-matrices) have often been used to accelerate this multiplication. However, the complexity of the structures of the H-matrices and the communication costs between processors limit their scalability, and they therefore cannot be used efficiently in distributed memory computer systems. Lattice H-matrices have recently been proposed as a tool to improve the parallel scalability of H-matrices. In this study, we developed a method for earthquake sequence simulations applicable to 3D nonplanar faults with lattice H-matrices. We present a simulation example and verify the accuracy of our method for a 3D nonplanar thrust fault. We also performed performance and scalability analyses of our code. Our simulations, using over 10^5 degrees of freedom, demonstrated a parallel acceleration beyond 10^4 MPI processors and a >10-fold acceleration over the best performance when the normal H-matrices are used. Using this code, we can perform unprecedented large-scale earthquake sequence simulations on geometrically complex faults with supercomputers.

研究の動機と目的

• 3次元非平面な断層上における地震シーケンスの境界要素法（BEM）シミュレーションにおける密行列-ベクトル積の高い計算コストを低減すること。
• 複雑なデータ構造と通信オーバーヘッドのため、分散メモリシステムにおける従来の階層行列（H行列）のスケーラビリティ制限を克服すること。
• ラティスH行列を用いたスケーラブルなシミュレーションフレームワークを開発し、大規模で幾何学的に複雑な断層系のBEMを高速化すること。
• 10^5以上の自由度を持つ大規模かつ高精度な地震シーケンスシミュレーションをスーパーコンピュータ上で実現すること。
• 3次元非平面な逆断層モデルを用いて、提案手法の正確性と性能を検証すること。

提案手法

• 境界要素法（BEM）を用いて、3次元的に幾何学的に複雑な断層をモデル化し、境界積分方程式を用いてすべりと応力の相互作用を表現する。
• ラティスH行列を用いてBEMにおける密行列-ベクトル積を高速化し、データ配布の単純化と通信コストの低減により並列スケーラビリティを向上させる。
• MPIを用いて分散メモリシステム上にラティスH行列構造を実装し、効率的な負荷分散とプロセッサ間通信の低減を実現する。
• ラティスH行列の圧縮とアセンブリをスケーラブルなBEMソルバに統合し、地震シーケンスシミュレーションを高速化する。
• 低ランクブロックの圧縮に適応的クロス近似（ACA）を用い、ストレージと計算量を削減しながらも正確性を維持する。
• ドメイン分割とタスクレベル並列化を組み合わせたハイブリッド並列化戦略を設計し、スーパーコンピューティングアーキテクチャでのパフォーマンスを最大化する。

実験結果

リサーチクエスチョン

• RQ1 ラティスH行列は、分散メモリシステム上での3次元非平面断層のBEMシミュレーションを効果的に高速化できるか？
• RQ2 大規模な地震シーケンスシミュレーションにおいて、ラティスH行列のパフォーマンスとスケーラビリティは、標準H行列と比べてどのように異なるか？
• RQ3 ラティスH行列を用いることで、スーパーコンピュータ上で10^5以上の自由度を持つシミュレーションをどの程度実現できるか？
• RQ4 3次元非平面な逆断層配置に適用した場合、提案手法の正確性はどの程度か？
• RQ5 10^4以上のMPIプロセスを用いた場合、ラティスH行列を用いることでどの程度の並列スループット向上が達成できるか？

主な発見

• 10^4個以上のMPIプロセッサにスケーリングした際、本手法は10,000倍を超える並列スループット向上を達成し、優れたスケーラビリティを示した。
• ラティスH行列アプローチは、最良の標準H行列実装よりも10倍以上の性能向上を達成した。
• 本手法は、3次元非平面な逆断層のシミュレーションにおいて高い正確性を維持しており、複雑な断層幾何形状への信頼性を裏付けた。
• シミュレーション規模は10^5以上の自由度を超え、大規模かつ高解像度の地震シーケンスモデリングを可能にした。
• ラティスH行列構造は通信オーバーヘッドを低減し、負荷分散を改善するため、エクサスケール対応のシミュレーションに適している。
• 本フレームワークは、現代のスーパーコンピュータ上で効率的かつ大規模な地震シーケンスシミュレーションを可能にし、複雑な断層系の研究に新たな可能性を提供した。