[논문 리뷰] Development of Massively Parallel Near Peak Performance Solvers for Three-Dimensional Geodynamic Modelling

Samuel Omlin, Räss, Ludovic외 2명|arXiv (Cornell University)|2022. 07. 18.

Drilling and Well EngineeringEngineering인용 수 17

한 줄 요약

이 논문은 3D 지구역학 시뮬레이션을 위한 다중 병렬 처리, 근접 피크 성능 솔버 개발을 가능하게 하는 MATLAB 기반 컴파일러인 HPC.m을 제시한다. 비선형 다공도 파동(기계적 및 반응성 모두)을 모델링하기 위한 병렬 알고리즘을 도입하여, Piz Daint의 80개 GPU에서 선형 스케일링과 5,000개 GPU에서 근사적으로 이상적인 스케일링을 입증하였으며, 다양한 Damköhler 수에서 솔리톤 유사한 파동 전파가 관찰되었다.

ABSTRACT

We address in this thesis the current need to design new parallel algorithms and tools that ease the development of geodynamic modelling applications that are suited for today's and tomorrow's hardware. We present (1) the MATLAB HPC compiler HPC.m, which greatly simplifies the building of parallel high performance applications and (2) parallel algorithms for the 3D simulation of strongly nonlinear processes as mechanical and reactive porosity waves. To simulate mechanical porosity waves we employ a massively parallel algorithm that permits to resolve the deformation of fluid-filled viscoelastic porous media in 3D. The utilized mathematical model is based on Biot's poroelastic theory, extended to account for viscous deformation and plastic yielding. The modelling results exhibit the impact of decompaction weakening on the formation of three-dimensional solitary-wave-like moving porosity channels. To simulate reactive porosity waves we use a solver for 3D deformation of fluid-filled reactive viscous porous media. The Damköhler number (Da) of the simulations is varied in order to estimate the respective roles of viscous deformation (low Da) and reaction (high Da) on wave propagation. 3D waves are found to propagate independently of their source at constant speed by going through each other for all the investigated Da. Soliton-like wave propagation as a result of metamorphic reaction provides an efficient mechanism for fluid flow in the Earth's crust. We illustrate the great performance and versatility of HPC.m by deploying it to generate solvers for a variety of physics across multiple Earth Science disciplines. All solvers run close to hardware's peak performance and were shown to scale linearly on a institute cluster with 80 GPUs. Moreover, our nonlinear poroviscoelastic two-phase flow solver scales close to ideally on Piz Daint's 5000 GPUs at the Swiss National Supercomputing Centre.

연구 동기 및 목표

• 현대의 이종 하드웨어에 맞게 설계된 고성능, 이식 가능한 병렬 지구역학 모델링 도구에 대한 증가하는 수요를 해결한다.
• MATLAB에서 고성능 병렬 응용 프로그램의 개발을 단순화하는 도메인 특화 컴파일러(HPC.m)를 개발한다.
• 기계적 및 반응성 다공도 파동과 같은 복잡한 3D 지구역학 과정의 정확하고 확장 가능한 시뮬레이션을 가능하게 한다.
• 비선형 다공성점성유동 문제에 대해 대규모 GPU 클러스터에서 근사 피크 성능과 강한 스케일링을 달성한다.
• 다양한 Damköhler 수를 사용하여 점성 변형과 화학 반응의 역할을 3D 다공도 파동 역학에서 조사한다.

제안 방법

• 고수준 MATLAB 코드를 GPU 및 분산 시스템을 위한 최적화되고 이식 가능한 병렬 코드로 변환하는 MATLAB HPC 컴파일러인 HPC.m을 구현한다.
• 유체를 포함한 점탄성 다공성 매질을 모델링하기 위해 점성 변형과 플라스틱 유한성을 포함한 Biot의 다공성점성 이론을 확장한다.
• 반응성 다공성 매질을 위한 비선형 이중상 유동 솔버를 개발하며, 반응 동역학과 가변 Damköhler 수(Da)를 통합한다.
• 분산 메모리 GPU 클러스터에서 3D 시뮬레이션을 위해 도메인 분할을 사용한 완전히 명시적이고 완전히 병렬화된 유한 차분 방법을 적용한다.
• 기본 격자 이산화와 메모리 대역폭 및 로드 밸런싱 최적화된 반복적 해법기를 사용한다.
• 기관의 GPU 클러스터와 CSCS의 Piz Daint 초고성능 컴퓨터를 사용하여 솔버를 검증하고 벤치마킹하며, 최대 5,000개 GPU까지 활용한다.

실험 결과

연구 질문

• RQ1 HPC.m과 같은 고수준 컴파일러는 저수준 프로그래밍 없이도 3D 지구역학 시뮬레이션에서 근사 피크 성능을 달성할 수 있는가?
• RQ2 분해결 weakening 조건 하에서 3D 점탄성 다공성 매질 내에서 기계적 다공도 파동은 어떻게 진화하는가?
• RQ3 3D 반응성 다공도 파동 전파에서 점성 변형(낮은 Da)과 화학 반응(높은 Da)의 역할은 각각 무엇인가?
• RQ4 3D 다공도 파동은 상호 작용할 때 형태와 속도를 유지하는 솔리톤 유사 행동을 보이는가?
• RQ5 Piz Daint와 같은 대규모 GPU 클러스터에서 솔버가 얼마나 선형적으로 스케일링될 수 있는가? (5,000개 GPU 기준)

주요 결과

• HPC.m 컴파일러는 GPU 하드웨어에서 근사 피크 성능을 달성하는 3D 지구역학 솔버 개발을 가능하게 한다.
• 비선형 다공성점성유동 솔버는 80개 GPU 클러스터에서 선형 스케일링을 보이며, 높은 이식성과 효율성을 입증한다.
• Piz Daint에서 솔버는 5,000개 GPU에 걸쳐 근사적으로 이상적인 스케일링을 달성하여 초고성능 지구역학 시뮬레이션의 준비성을 확인한다.
• 기계적 다공도 파동은 분해결 약화로 인해 예측된 확장 Biot 모델에 따라 3D 솔리톤 유사 채널을 형성한다.
• 반응성 다공도 파동은 서로가 만나는 동안 일정한 속도를 유지하고 형태를 유지하며, 테스트된 모든 Damköhler 수에서 솔리톤 유사 행동을 나타낸다.
• 본 연구는 변성 반응이 안정적이고 전파되는 다공도 파동을 통해 지구의 지각 내에서 효율적이고 장거리의 유체 유동을 이끌 수 있음을 확인한다.