[논문 리뷰] Large-scale earthquake sequence simulations of 3D geometrically complex faults using the boundary element method accelerated by lattice H-matrices on distributed memory computer systems

So Ozawa, Akihiro Ida외 2명|arXiv (Cornell University)|2021. 10. 23.

earthquake and tectonic studies참고 문헌 32인용 수 5

한 줄 요약

이 논문은 분산 메모리 시스템에서 격자 H-행렬을 활용해 가속화된 확장 가능한 경계 요소법(BEM)을 제안하며, 기하학적으로 복잡한 단층에서 대규모 3D 지진 시퀀스 시뮬레이션을 수행한다. 이는 10,000배 이상의 병렬 속도 향상과 기존 H-행렬 대비 10배 이상의 성능 향상을 달성하여 초고성능 컴퓨터에서 이전에 보기 어려운 수준의 시뮬레이션을 가능하게 한다.

ABSTRACT

Large-scale earthquake sequence simulations using the boundary element method (BEM) incur extreme computational costs through multiplying a dense matrix with a slip rate vector. Recently, hierarchical matrices (H-matrices) have often been used to accelerate this multiplication. However, the complexity of the structures of the H-matrices and the communication costs between processors limit their scalability, and they therefore cannot be used efficiently in distributed memory computer systems. Lattice H-matrices have recently been proposed as a tool to improve the parallel scalability of H-matrices. In this study, we developed a method for earthquake sequence simulations applicable to 3D nonplanar faults with lattice H-matrices. We present a simulation example and verify the accuracy of our method for a 3D nonplanar thrust fault. We also performed performance and scalability analyses of our code. Our simulations, using over 10^5 degrees of freedom, demonstrated a parallel acceleration beyond 10^4 MPI processors and a >10-fold acceleration over the best performance when the normal H-matrices are used. Using this code, we can perform unprecedented large-scale earthquake sequence simulations on geometrically complex faults with supercomputers.

연구 동기 및 목표

• 3D 비평면 단층에서의 지진 시퀀스 시뮬레이션에서 발생하는 밀도 행렬-벡터 곱 연산의 높은 계산 비용을 해결한다.
• 복잡한 데이터 구조와 통신 오버헤드로 인해 기존 계층적 행렬(H-행렬)이 분산 메모리 시스템에서 확장성에 한계를 가짐을 극복한다.
• 격자 H-행렬을 활용한 확장 가능한 시뮬레이션 프레임워크를 개발하여 대규모 기하학적으로 복잡한 단층 시스템의 BEM을 가속화한다.
• 10^5개 이상의 자유도를 초과하는 초대규모 고해상도 지진 시퀀스 시뮬레이션을 초고성능 컴퓨터에서 가능하게 한다.
• 3D 비평면 압축 단층 모델을 대상으로 제안된 방법의 정확성과 성능을 검증한다.

제안 방법

• 경계 적분 방정식을 통해 복잡한 3D 기하학적 단층의 스립 및 응력 상호작용을 모델링하기 위해 경계 요소법(BEM)을 활용한다.
• 격자 H-행렬을 사용해 BEM에서 발생하는 밀도 행렬-벡터 곱 연산을 가속화하며, 데이터 분포를 단순화하고 통신 비용을 감소시켜 병렬 확장성을 향상시킨다.
• MPI를 활용해 분산 메모리 시스템에 격자 H-행렬 구조를 구현하여 효율적인 로드 밸런싱과 프로세서 간 통신을 최소화한다.
• 격자 H-행렬의 압축 및 조립 기능을 확장 가능한 BEM 솔버에 통합하여 지진 시퀀스 시뮬레이션을 지원한다.
• 저질서 블록을 압축하기 위해 적응형 교차 근사법(ACA)을 사용하여 저장 용량과 계산 비용을 줄이면서도 정확성을 유지한다.
• 도메인 분할과 작업 수준 병렬 처리를 조합한 하이브리드 병렬 전략을 설계하여 초고성능 아키텍처에서 최고의 성능을 달성한다.

실험 결과

연구 질문

• RQ1 격자 H-행렬은 분산 메모리 시스템에서 3D 비평면 단층의 BEM 시뮬레이션을 효과적으로 가속화할 수 있는가?
• RQ2 대규모 지진 시퀀스 시뮬레이션에서 격자 H-행렬의 성능 및 확장성은 기존 H-행렬과 비교해 어떻게 다른가?
• RQ3 격자 H-행렬을 통해 초고성능 컴퓨터에서 10^5개 이상의 자유도를 초과하는 시뮬레이션을 얼마나 높은 수준까지 가능하게 할 수 있는가?
• RQ4 3D 비평면 압축 단층 구조에 적용했을 때 제안된 방법의 정확도는 어느 정도인가?
• RQ5 10^4개 이상의 MPI 프로세스를 통해 격자 H-행렬을 활용할 경우 어떤 정도의 병렬 속도 향상을 달성할 수 있는가?

주요 결과

• 제안된 방법은 10^4개 이상의 MPI 프로세서로 확장할 경우 10,000배 이상의 병렬 속도 향상을 달성하여 놀라운 확장성을 입증한다.
• 격자 H-행렬 접근법은 최고 성능을 보인 기존 H-행렬 구현 대비 10배 이상의 성능 향상을 제공한다.
• 3D 비평면 압축 단층을 시뮬레이션하는 데 높은 정확성을 유지하여 복잡한 단층 기하학에 대한 신뢰성 있는 적용 가능성을 입증한다.
• 시뮬레이션 규모가 10^5개 이상의 자유도를 초과하여 대규모 고해상도 지진 시퀀스 모델링을 가능하게 한다.
• 격자 H-행렬 구조는 통신 오버헤드를 감소시키고 로드 밸런싱을 향상시켜 엑사스케일 대응 시뮬레이션에 적합하다.
• 현대의 초고성능 컴퓨터에서 효율적인 대규모 지진 시퀀스 시뮬레이션을 지원하는 프레임워크를 제공하며, 복잡한 단층 시스템을 연구할 수 있는 새로운 가능성을 열어 놓는다.