[論文レビュー] The LISE package: solvers for static and time-dependent superfluid local density approximation equations in three dimensions

Shi Jin, Kenneth J. Roche+3 more|arXiv (Cornell University)|Sep 1, 2020

Nuclear physics research studies参考文献 72被引用数 42

ひとこと要約

LISEパッケージは、対称性制約なしに核分裂、重イオン衝突、量子渦運動の大型スケールシミュレーションを可能にする、GPUアクセラレーテッドで高度に最適化された、三次元座標空間における静的および時間依存型超流動局所密度近似（SLDA）方程式のソルバーを提供する。Summit や Piz Daint といったエクサスケールシステムでもほぼ完璧な強スケーリングを達成し、アダムス・バッシュフォースト・ミルン予測補正スキームを用いて時間積分の精度が ∼O(∆t)⁶ に達する。空間微分はFFTベースで計算される。

ABSTRACT

Nuclear implementation of the density functional theory (DFT) is at present the only microscopic framework applicable to the whole nuclear landscape. The extension of DFT to superfluid systems in the spirit of the Kohn-Sham approach, the superfluid local density approximation (SLDA) and its extension to time-dependent situations, time-dependent superfluid local density approximation (TDSLDA), have been extensively used to describe various static and dynamical problems in nuclear physics, neutron star crust, and cold atom systems. In this paper, we present the codes that solve the static and time-dependent SLDA equations in three-dimensional coordinate space without any symmetry restriction. These codes are fully parallelized with the message passing interface (MPI) library and take advantage of graphic processing units (GPU) for accelerating execution. The dynamic codes have checkpoint/restart capabilities and for initial conditions one can use any generalized Slater determinant type of wave function. The code can describe a large number of physical problems: nuclear fission, collisions of heavy ions, the interaction of quantized vortices with nuclei in the nuclear star crust, excitation of superfluid fermion systems by time dependent external fields, quantum shock waves, domain wall generation and propagation, the dynamics of the Anderson-Bogoliubov-Higgs mode, dynamics of fragmented condensates, vortex rings dynamics, generation and dynamics of quantized vortices, their crossing and recombinations and the incipient phases of quantum turbulence.

研究の動機と目的

• 対称性制約なしに3次元SLDA/TDSLDA方程式を解く、スケーラブルで高パフォーマンスな計算フレームワークの開発。
• 核物理学、中性子星のクリース、超低温原子系における複雑な量子多体現象の大型スケールシミュレーションの実現。
• CPU-GPUデータ転送を最小限に抑え、CPUベースのルーチンの呼び出しを減らすことで、GPUアクセラレーションとMPI並列化を活用した現代のスーパーコンピュータで最適なパフォーマンスを達成。
• 一般化されたスレーター行列式波動関数による堅牢な初期条件と、長時間ダイナミクスのためのチェックポイント/リスタート機能の提供。
• 分裂、渦運動、量子ショック波、初期段階の量子乱流といった多様な物理的問題のサポート。

提案手法

• 有限差分近似を用いて、3次元空間格子上にTDSLDA方程式を離散化。
• 空間微分の効率的計算に高速フーリエ変換（FFT）を採用。
• 予測子-修正子-補正子時間積分アルゴリズム（アダムス・バッシュフォースト・ミルン）を用い、精度が ∼O(∆t)⁶ に達し、誤差が小さい。
• MPIを用いた分散メモリアーキテクチャ向けの完全並列化と、CUDAを用いたGPUアクセラレーションを実装。
• チェックポイント/リスタート機能と、一般化されたスレーター行列式波動関数からの初期条件をサポート。
• TDSLDA-optバージョンでは、CPU-GPU間データ転送回数を最小化し、大規模GPUクラスタでのパフォーマンスを最適化。

実験結果

リサーチクエスチョン

• RQ1 SLDA/TDSLDA方程式の完全3次元的かつ対称性なしのソルバーが、数千のGPUにわたって効率的に並列化可能かどうか。
• RQ2 Summit や Piz Daint といった現代のエクサスケールスーパーコンピュータ上で、LISEコードのパフォーマンススケーリングはどの程度達成されるか。
• RQ3 GPUアクセラレーションと最適化された時間積分が、レガシーモデルのTDHF+BCSコードと比較して、計算コストをどの程度低減できるか。
• RQ4 コードが、渦の再結合、ドメイン境界の伝播、アンドリュー・ボゴリューボフ・ヒッグスモードのダイナミクスといった複雑な量子現象を正確にシミュレートできるか。
• RQ5 特にノード数が増加した場合に、強スケーリングの主要なパフォーマンスボトルネックは何か。

主な発見

• LISEコードは、Summit および Piz Daint でほぼ完璧な強スケーリングを達成しており、GPUキーネル実行時間は1,800 GPUsに達するまでほぼ一定に保たれる。
• ノード間およびGPU間の通信コストが、約180〜200ノードを超えると支配的になり、メッセージパassingのオーバーヘッドに起因するスケーリング限界が示唆される。
• 最適化版（TDSLDA-opt）は、CPU-GPUデータ転送の呼び出し回数を削減し、大規模GPUクラスタでのパフォーマンス向上を実現。
• Summitでは、240ノード（442,368 GPU）を用い、30×30×60格子で1ステップあたり7.18 × 10⁻⁹秒のウォールタイムを達成し、エクサスケール対応を示した。
• 同様の問題に対して、Sky3Dなどの最先端のTDHF+BCSコードと比較して、壁時刻で約100倍の高速化を達成。これは、優れた時間積分法とGPU利用効率の高さに起因。
• Jaguar、Titan、Piz Daint、Tsubame、Summit、Sierraといったリーダーシップクラスのシステムで、コードは正常にデプロイされベンチマークが実施され、移植性と高いパフォーマンスが確認された。