[논문 리뷰] H-AMR: A New GPU-accelerated GRMHD Code for Exascale Computing With 3D Adaptive Mesh Refinement and Local Adaptive Time-stepping

Matthew Liska, Koushik Chatterjee외 11명|arXiv (Cornell University)|2019. 12. 21.

Astrophysical Phenomena and Observations인용 수 12

한 줄 요약

H-AMR는 GPU 가속 기반의 3차원 적응 메쉬 분해(GRMHD) 코드로, 국소적 적응 시간 스텝 및 구면좌표계를 활용하여 블랙홀 순환 현상의 엑사스케일 시뮬레이션을 가능하게 하며, 5,400개의 V100 GPU에서 초당 약 10⁹ 개의 셀 사이클 성능을 달성한다. 이는 순수하게 토로이달 자기장이 있는 기울어진 얇은 순환 디스크가 틀어짐에 따라 예비 다중 디스크로 갈라지며, 프레임 드레깅이 다중 자기장이 없는 조건에서도 일시적인 정렬을 유도할 수 있음을 처음으로 입증한다.

ABSTRACT

General-relativistic magnetohydrodynamic (GRMHD) simulations have revolutionized our understanding of black hole accretion. Here, we present a graphics processing unit (GPU) accelerated GRMHD code \hammer{} with multi-faceted optimizations that, collectively, accelerate computation by 2-5 orders of magnitude for a wide range of applications. Firstly, it introduces a spherical grid with 3D adaptive mesh refinement that operates in each of the 3 dimensions independently. This allows us to circumvent the Courant condition near the polar singularity, which otherwise cripples high-resolution computational performance. Secondly, we demonstrate that local adaptive time-stepping (LAT) on a logarithmic spherical-polar grid accelerates computation by a factor of $\lesssim10$ compared to traditional hierarchical time-stepping approaches. Jointly, these unique features lead to an effective speed of $\sim10^9$ zone-cycles-per-second-per-node on 5,400 NVIDIA V100 GPUs (i.e., 900 nodes of the OLCF Summit supercomputer). We illustrate \hammer{}'s computational performance by presenting the first GRMHD simulation of a tilted thin accretion disk threaded by a toroidal magnetic field around a rapidly spinning black hole. With an effective resolution of $13$,$440 imes4$,$608 imes8$,$092$ cells, and a total of $\lesssim22$ billion cells and $\sim0.65 imes10^8$ timesteps, it is among the largest astrophysical simulations ever performed. We find that frame-dragging by the black hole tears up the disk into two independently precessing sub-disks. The innermost sub-disk rotation axis intermittently aligns with the black hole spin, demonstrating for the first time that such long-sought alignment is possible in the absence of large-scale poloidal magnetic fields.

연구 동기 및 목표

• 블랙홀 순환 현상의 GRMHD 시뮬레이션에서 극 근처의 수치적 한계와 장시간 스케일의 역학적 동역학 문제를 해결하기 위해.
• 약한 자기장이 존재하는 기울어진 얇은 순환 디스크의 고해상도·장시간 시뮬레이션을 가능하게 하여, X선 이진성의 상태를 모델링하는 데 핵심적인 역할을 하지만 이전에는 해결이 어려웠던 문제를 해결하기 위해.
• 복잡한 물리 현상과 적응 메쉬를 갖춘 천체 물리 시뮬레이션에서 엑사스케일 성능을 달성할 수 있는 확장성 있고 GPU 최적화된 코드 개발을 위해.
• 초기 다중 자기장이 없는 조건에서 디스크 갈라짐과 진동의 역학을 연구하기 위해.

제안 방법

• 코드는 구면극좌표계를 사용하며, 반경, 위도, 경도 방향으로 독립적으로 작동하는 3차원 적응 메쉬 분해(AMR)를 적용하여 극 근처에서 쿠란트 조건 붕괴를 방지한다.
• 로그형 구면극좌표계에 국소적 적응 시간 스텝(LAT)을 구현하여 각 셀이 개별 시간 스텝을 갖도록 하여 전반적인 시간 스텝 제약을 완화한다.
• GRMHD 방정식은 고차수 유한체적 방법과 HLLD 리만 해법기를 사용하여, AMR에 적합한 비균일 곡면 메쉬에 맞게 조정된 해법을 적용한다.
• 코드는 CUDA를 활용하여 완전히 GPU 가속화되었으며, NVIDIA V100 GPU에서 효율적인 데이터 이동과 커널 실행을 위한 최적화된 메모리 접근 패턴을 구현하였다.
• 시뮬레이션 프레임워크는 Chombo AMR 인프라와 통합되어 있으며, 밀도, 자기장, 속도 등의 물리 기울기 기반으로 동적 메쉬 분해를 지원한다.
• 코드는 OLCF Summit 슈퍼컴퓨터에서 벤치마킹되었으며, 900개 노드(5,400개의 V100 GPU)에서 약 10⁹ 개의 셀 사이클/초 성능을 달성하여 엑사스케일 준비 상태임을 입증하였다.

Figure 1: An illustration of a cell in the $(x^{1},x^{2})$ plane in H-AMR. The conserved quantities $U$ are stored at cell centers, the fluxes $F^{1,2}$ and staggered magnetic field components $B^{1,2}$ are stored at cell faces and the electric fields $E^{3}$ are stored at cell edges. The correspond

실험 결과

연구 질문

• RQ1 순수하게 토로이달 자기장이 존재하는 기울어진 얇은 순환 디스크의 GRMHD 시뮬레이션에서, 초기 다중 자기장이 없더라도 MRI 난류와 디스크 갈라짐을 충분한 해상도와 동적 범위로 해상화할 수 있는가?
• RQ2 빠르게 스핀하는 블랙홀의 프레임 드레깅이 큰 스케일의 다중 자기장이 없는 조건에서 내부 디스크가 블랙홀 스핀 축과 일시적으로 정렬시키는가?
• RQ3 고해상도·장시간 스케일의 GRMHD 시뮬레이션에서, 국소적 적응 시간 스텝(LAT)이 계층적 시간 스텝보다 계산 비용을 얼마나 줄이는가?
• RQ4 3차원 AMR와 LAT의 조합이 처음으로 200억 개 이상의 셀과 0.65×10⁸ 개의 시간 스텝를 갖는 제트 없는 고광도 순환 디스크를 시뮬레이션할 수 있는가?

주요 결과

• H-AMR는 5,400개의 V100 GPU에서 노드당 약 10⁹ 개의 셀 사이클/초의 효과적 성능을 달성하여 엑사스케일 GRMHD 시뮬레이션을 가능하게 하였다.
• β ~ 10이고 스핀 파라미터 a = 0.94인 65° 기울기의 얇은 디스크 시뮬레이션에서, 블랙홀의 프레임 드레깅으로 인해 두 개의 독립적인 진동하는 하위디스크로 디스크가 갈라지는 현상이 관측되었다.
• 내부 하위디스크는 간헐적으로 블랙홀 스핀 축과 정렬되며, 이는 다중 자기장이 초기에 존재하지 않더라도 정렬이 가능하다는 것을 처음으로 입증한 것이다.
• 시뮬레이션 전반에 걸쳐 제트가 발생하지 않아, 다중 자기장이 없는 조건에서 X선 이진성의 고광도/부드러운 상태가 유지됨을 확인하였다.
• 여러 차례의 갈라짐 사이클이 발생하였으며, 내부 하위디스크는 약 수개의 주기 동안 진동하다가 점차적으로 순환되면서, Type-C 준주기 진동(QPOs)의 메커니즘과 일치하는 결과를 보였다.
• MRI는 셀 높이당 약 25~30개, MRI 파장당 20개 이상의 셀로 해상화되었으며, 난류에 의해 유도되는 α 점성계수의 수렴이 사상 최고의 해상도에서 달성되었다.

Figure 2: A code diagram of H-AMR. On the left (blue) are all tasks that are peformed using OpenMP parallelized C functions. On the right (orange) are all tasks that are performed using GPU-accelerated CUDA kernels. Practically all of the computation is GPU-accelerated and the non-accelerated parts