[論文レビュー] High-performance orbit-following code ASCOT5 for Monte Carlo simulations in fusion plasmas

J. Varje, K. Särkimäki+6 more|arXiv (Cornell University)|Aug 7, 2019

Magnetic confinement fusion researchPhysics and Astronomy参考文献 13被引用数 22

ひとこと要約

ASCOT5 は、現代のマルチコア CPU を活用するため、OpenMP-MPI ハイブリッド並列化と SIMD ベクトル化を組み合わせた、再設計された高パフォーマンスの軌道追従型モンテカルロコードであり、核融合プラズマ内の高速イオンのダイナミクスをシミュレートすることを目的としている。ASCOT4 より最大 6 倍の高速化を達成し、メモリ効率とスケーラビリティが向上した上で、ネオクラスカル輸送および 3D プラズマシミュレーションを正確に再現する。

ABSTRACT

We present a novel implementation of a Monte Carlo particle-following code for solving the distribution function of minority species in fusion plasmas, called ASCOT5, and verify it using theoretical results for neoclassical transport. The code has been developed from ground up with an OpenMP-MPI hybrid paradigm to take full advantage of current and next generation many-core CPUs with multithreading and SIMD operations. Up to 6-fold increase in performance is demonstrated compared to a previous version of the code which only utilizes MPI. The physics model of the code is comprehensively validated against existing theoretical work, and it is shown to faithfully reproduce neoclassical diffusion across three different collisionality regimes. In simulations for realistic tokamak plasmas, including complex non-axisymmetric geometry, ASCOT5 is verified to reproduce results from the previous version ASCOT4.

研究の動機と目的

• 現代のマルチコアかつ SIMD 機能を備えた CPU におけるレガシーデータである ASCOT4 の性能ボトルネックを解消するため、コードベースを再設計し、ハードウェアをフルに活用できるようにする。
• 計算効率とメモリ使用量の改善により、より大規模なシミュレーションを高統計的精度で実行可能にする。
• さまざまな衝突性領域において、ネオクラスカル輸送および現実的なトカマクプラズマの挙動を正確に再現すること。
• ハイブリッド並列化（OpenMP + MPI）を用いて、大規模シミュレーションにおけるニア・オールアイドル強化スケーリングを達成する。
• 将来的な拡張（MHD摂動、時間依存場、高度な物理モデルなど）をサポートできるモジュラーかつ保守性の高いコードベースを設計する。

提案手法

• 現代の CPU におけるマルチスレーディングと SIMD ベクトル演算を活用するため、ハイブリッド OpenMP-MPI 並列化モデルを採用し、C 言語で ASCOT5 を再実装した。
• 512 ビット AVX-512 指令を用いて、効率的な SIMD 実行を実現するように、コアのシミュレーションループを明示的に構造化し、同時に 8 個のマーカーを処理する。
• 物理モジュール間の明確なインターフェースを持つモジュラーなソフトウェアアーキテクチャを実装し、長期的な保守性を向上させた。
• 荷電粒子の軌道を解くための Fokker-Planck 方程式を、Langevin 方程式を介してマーカー基準のモンテカルロ法で解く。
• メモリ消費の大きい RNG（例：SIMD メルセンヌ・ツイスタ）を効率の良いアルゴリズムに置き換えることで、パフォーマンスオーバーヘッドを低減した。
• MPI がノード間通信を担当し、OpenMP がノード内でのマルチスレーディングを管理するハイブリッド並列化戦略を採用し、効率的な負荷分散を実現した。

実験結果

リサーチクエスチョン

• RQ1 完全に再設計された SIMD 最適化モンテカルロコードは、現代のマルチコア CPU において、レガシーデータの MPI 僅令実装よりも顕著なパフォーマンス向上を達成できるか？
• RQ2 新しい ASCOT5 コードは、さまざまな衝突性領域で理論的予測されたネオクラスカル輸送結果を正確に再現できるか？
• RQ3 複雑な 3D トカマク幾何構造において、ASCOT5 は以前のシミュレーション結果（例：ASCOT4）をどの程度正確に再現できるか？
• RQ4 ハイブリッド OpenMP-MPI 並列化戦略は、大規模シミュレーションにおいて、特に強化スケーリングの観点からどの程度スケーリングするか？
• RQ5 新しいコードベースは、同じ計算リソース内でより多くのマーカー数を扱い、統計的精度を向上させることができるか？

主な発見

• Skylake CPU 上の 2D JET に類似したシミュレーションでは、ASCOT5 が ASCOT4 より最大 6 倍の高速化を達成し、3D ITER に類似したケースでは 4 倍の高速化を実現した。
• Knights Landing システムでは、マルチスレーディングと SIMD の効果的な活用により、さらに高い高速化が達成された。一方、ASCOT4 はメモリ制限のため実行できなかった。
• 3 つの衝突性領域（バナナ、プラトー、Pfirsch-Schlüter）において、理論的に予測されたネオクラスカル拡散が正確に再現され、物理モデルの妥当性が検証された。
• 非軸対称磁場摂動を含む現実的な 3D トカマクシミュレーションにおいて、ASCOT5 は ASCOT4 の結果を正確に再現した。
• 強化スケーリングテストでは、100,000 個のマーカーを用いたシミュレーションでニア・オールアイドルの性能を示し、データ I/O や負荷不均衡に起因するオーバーヘッドは最小限に抑えられた。
• メモリ効率の良いアルゴリズムへの置き換えにより、乱数生成の最適化を実施したことで、パフォーマンスボトルネックが軽減され、SIMD 機能のフル活用が可能になった。