[論文レビュー] H-AMR: A New GPU-accelerated GRMHD Code for Exascale Computing With 3D Adaptive Mesh Refinement and Local Adaptive Time-stepping

Matthew Liska, Koushik Chatterjee+11 more|arXiv (Cornell University)|Dec 21, 2019

Astrophysical Phenomena and Observations被引用数 12

ひとこと要約

H-AMR は GPU による加速を施した 3 次元自己適応メッシュ細分化 GRMHD コードであり、局所的自己適応時間ステッピングと球面座標系を用いて、ブラックホール降着のエクサスケールシミュレーションを可能にした。5,400 個の V100 GPU で 1 秒あたり約 10⁹ ゾーンサイクルを達成した。このコードは、純粋にトロイダル磁場を持つねじれた薄い降着円盤が、フレーム・ドラッグ効果によって一時的にブラックホールスピン軸と整列する現象を初めて示した。

ABSTRACT

General-relativistic magnetohydrodynamic (GRMHD) simulations have revolutionized our understanding of black hole accretion. Here, we present a graphics processing unit (GPU) accelerated GRMHD code \hammer{} with multi-faceted optimizations that, collectively, accelerate computation by 2-5 orders of magnitude for a wide range of applications. Firstly, it introduces a spherical grid with 3D adaptive mesh refinement that operates in each of the 3 dimensions independently. This allows us to circumvent the Courant condition near the polar singularity, which otherwise cripples high-resolution computational performance. Secondly, we demonstrate that local adaptive time-stepping (LAT) on a logarithmic spherical-polar grid accelerates computation by a factor of $\lesssim10$ compared to traditional hierarchical time-stepping approaches. Jointly, these unique features lead to an effective speed of $\sim10^9$ zone-cycles-per-second-per-node on 5,400 NVIDIA V100 GPUs (i.e., 900 nodes of the OLCF Summit supercomputer). We illustrate \hammer{}'s computational performance by presenting the first GRMHD simulation of a tilted thin accretion disk threaded by a toroidal magnetic field around a rapidly spinning black hole. With an effective resolution of $13$,$440 imes4$,$608 imes8$,$092$ cells, and a total of $\lesssim22$ billion cells and $\sim0.65 imes10^8$ timesteps, it is among the largest astrophysical simulations ever performed. We find that frame-dragging by the black hole tears up the disk into two independently precessing sub-disks. The innermost sub-disk rotation axis intermittently aligns with the black hole spin, demonstrating for the first time that such long-sought alignment is possible in the absence of large-scale poloidal magnetic fields.

研究の動機と目的

• ブラックホール降着の GRMHD シミュレーションにおける計算的ボトル neck を克服すること、特に極付近の特異性と長時間スケールの動的挙動に対して。
• 弱い磁場を有するねじれた薄い降着円盤の高解像度・長期間シミュレーションを可能にすること。これは X線連星の状態をモデル化する上で重要であるが、従来は実行不可能であった。
• 複雑な物理現象と自己適応解像度を有する天体物理学的シミュレーションに適したスケーラブルで GPU 最適化されたコードを構築すること。
• 初期のポリロイダル磁場フラックスが存在しない状況における円盤の破断と歳差運動の動的挙動を調査すること。これは、解像度と時間スケールの制限により従来は到達できなかった領域である。

提案手法

• コードは球面極座標系を採用し、径方向、極角方向、方位角方向に独立して 3 次元自己適応メッシュ細分化（AMR）を実行することで、極付近でのコールエント条件の崩壊を回避する。
• 対数スケールの球面極座標系上で局所的自己適応時間ステッピング（LAT）を実装し、異なるゾーンが個別に時間ステップを進めるようにすることで、グローバルな時間ステップ制限を緩和する。
• GRMHD 方程式は、曲がった非一様メッシュに適応された高次精度の有限体積法と HLLD リーマンソルバを用いて解かれる。
• コードは CUDA を用いて完全に GPU で加速され、NVIDIA V100 GPU 上での効率的なデータ移動とカーネル起動を実現するための最適化されたメモリアクセスパターンが採用されている。
• シミュレーションフレームワークは Chombo AMR インfraストラクチャと統合されており、物理的勾配（密度、磁場、速度など）に基づいた動的細分化をサポートする。
• コードは OLCF Summit スーパーコンputter 上でベンチマークが実施され、900 ノード（5,400 個の V100 GPU）で 1 秒あたり約 10⁹ ゾーンサイクルを達成し、エクサスケールの実現可能性を示した。

Figure 1: An illustration of a cell in the $(x^{1},x^{2})$ plane in H-AMR. The conserved quantities $U$ are stored at cell centers, the fluxes $F^{1,2}$ and staggered magnetic field components $B^{1,2}$ are stored at cell faces and the electric fields $E^{3}$ are stored at cell edges. The correspond

実験結果

リサーチクエスチョン

• RQ1 初期のポリロイダル磁場フラックスが存在しない純粋にトロイダル磁場を有するねじれた薄い降着円盤の GRMHD シミュレーションにおいて、MRI乱流と円盤の破断を十分な解像度と動的範囲で解像できるか。
• RQ2 急激に回転するブラックホールによるフレーム・ドラッグ効果が、大規模なポリロイダル磁場が存在しない状況でも、内側の円盤がブラックホールスピン軸と一時的に整列させるか。
• RQ3 高解像度・長期間スケールの GRMHD シミュレーションにおいて、局所的自己適応時間ステッピング（LAT）は階層的時間ステッピングに比べて計算コストをどの程度低減できるか。
• RQ4 3 次元 AMR と LAT の組み合わせにより、効果的な解像度が 200 億セルを超える、ジェットを発生させない高輝度降着円盤のシミュレーションが、0.65×10⁸ ステップの期間で初めて可能になるか。

主な発見

• H-AMR は 5,400 個の V100 GPU 上でノードあたり約 10⁹ ゾーンサイクル/秒の効果的性能を達成し、エクサスケール規模の GRMHD シミュレーションを可能にした。
• β ~ 10 で a = 0.94 の 65° 傾いた薄い円盤（h/r = 0.02）のシミュレーションから、フレーム・ドラッグ効果によって円盤が二つの独立した歳差運動を示すサブディスクに破断することが判明した。
• 内側のサブディスクが断続的にブラックホールスピン軸と整列する現象が観測され、初期のポリロイダル磁場フラックスが存在しない状況でもこのような整列が可能であることを、初めて示した。
• シミュレーション全体を通してジェットは発生せず、大規模なポリロイダル磁場が存在しない状況下でも X線連星の高輝度/ソフト状態が確認された。
• 複数回の破断サイクルが観測され、内側サブディスクは複数周期にわたり歳差運動を示した後、降着された。これは Type-C の準周期的振動（QPOs）のメカニズムと整合的である。
• MRI は 1 スケール高さあたり約 25–30 セル、MRI 波長あたり 20 セル以上で解像され、これまでにない高解像度で乱流駆動の α 粘性係数に収束した。

Figure 2: A code diagram of H-AMR. On the left (blue) are all tasks that are peformed using OpenMP parallelized C functions. On the right (orange) are all tasks that are performed using GPU-accelerated CUDA kernels. Practically all of the computation is GPU-accelerated and the non-accelerated parts