[論文レビュー] Highly Optimized Full-Core Reactor Simulations on Summit

Paul Fischer, Elia Merzari+9 more|arXiv (Cornell University)|Oct 1, 2021

Nuclear reactor physics and engineering参考文献 28被引用数 9

ひとこと要約

本論文は、Summitスパコン上でNekRSスペクトル要素コードを用いて、核融合炉炉心の最初のフルコア計算流体力学シミュレーションを報告している。高度に最適化されたアルゴリズム、高次離散化、および適応的通信戦略により、1回の流れ-through時間（flow-through time）を6時間未満で達成した。9800万要素、35万個以上のペブルを含むペブルベッド炉心のシミュレーションは、1つのナビエ-ストークスタイムステップあたり0.25秒未塔で完了し、準エクサスケールシステムにおける炉心シミュレーションの性能とスケーラビリティにおいて、顕著な飛躍を示している。

ABSTRACT

Nek5000/RS is a highly-performant open-source spectral element code for simulation of incompressible and low-Mach fluid flow, heat transfer, and combustion with a particular focus on turbulent flows in complex domains. It is based on high-order discretizations that realize the same (or lower) cost per gridpoint as traditional low-order methods. State-of-the-art multilevel preconditioners, efficient high-order time-splitting methods, and runtime-adaptive communication strategies are built on a fast OCCA-based kernel library, libParanumal, to provide scalability and portability across the spectrum of current and future high-performance computing platforms. On Summit, Nek5000/RS has recently achieved an milestone in the simulation of nuclear reactors: the first full-core computational fluid dynamics simulations of reactor cores, including pebble beds with > 350,000 pebbles and 98M elements advanced in less than 0.25 seconds per Navier-Stokes timestep. With carefully tuned algorithms, it is possible to simulate a single flow-through time for a full reactor core in less than six hours on all of Summit.

研究の動機と目的

• 計算コストと規模の制限により、従来は不可能とされてきた、核融合炉炉心のフルコア・乱流解明型シミュレーションを可能にすること。
• 流れ抵抗や熱伝達を予測する際に不確実性を導入する、従来の多孔質媒体モデルや平均化モデルの限界を克服すること。
• SummitのようなリーダーシップクラスのHPCシステムで、スケーラブルかつ高性能なCFDシミュレーションを実証し、エクサスケールに準拠した性能を達成すること。
• フルコア炉心解析のシミュレーション時間-to-solutionを短縮し、パラメトリックスタディやモデル検証を可能にすること。
• 実世界の炉心シミュレーションにおいて、混合精度プリコンディショニングや適応的通信といった高度なアルゴリズム最適化の有効性を検証すること。

提案手法

• 非圧縮性ナビエ-ストークス方程式に対して、高次（N=8）の不連続ガラーキン離散化を用いたNek5000/RSスペクトル要素コードを採用。
• BDF2時間積分法と高度な多層級プリコンディショナを用いた、圧力-速度結合のための半陽的時間分割法を採用。
• GPUアクセラレータドアのアーキテクチャを横断的に高速に実行可能にするために、OCCAベースのカーネルライブラリであるlibParanumalを活用。
• ネットワークトポロジーや問題サイズに応じて、実行時において動的にデータ配布と通信パターンを最適化する適応的通信戦略を適用。
• 解の精度を維持しつつ収束を加速するために、プリコンディショナで混合精度算術を採用。
• スペクトル要素多重グリッドを用いて、圧力射影から生じる楕円型系を解くために、2-Cheb-ASMおよび1-Cheb-Jacプリコンディショニング戦略を採用。

実験結果

リサーチクエスチョン

• RQ1 準エクサスケールスーパーコンピュータ上で、受け入れ可能な時間-to-solutionを達成しつつ、核融合炉炉心のフルコア・乱流解明型CFDシミュレーションを実行できるか？
• RQ2 現代のGPUアクセラレータドアシステムで、フルコア炉心シミュレーションの1ステップを1秒未塔で達成するために、どのようなアルゴリズム的および実装的最適化が必要か？
• RQ3 大規模なスペクトル要素シミュレーションにおいて、適応的通信と混合精度プリコンディショニングがパフォーマンスとスケーラビリティに与える影響はいかほどか？
• RQ4 複雑な炉心幾何形状において、高次スペクトル要素法は、低次法と比較して、単位グリッドポイントあたりの性能をどの程度上回るか？
• RQ5 このようなシミュレーションは、多孔質媒体近似のような低次元モデルの改善と検証に、高精度なベンチマークデータを提供できるか？

主な発見

• 352,625個のペブルと9880万個の六面体要素を有するフルコアペブルベッド炉心のシミュレーションが、Summit上で1ナビエ-ストークスタイムステップあたり0.25秒未塔で完了した。
• Summitの全27,648個のV100 GPUを用いて、フルコアの1回の流れ-through時間（flow-through time）が6時間未塔で達成され、パラメトリックスタディの実用的妥当性を示した。
• 混合精度算術を用いた2-Cheb-ASMプリコンディショナの採用により、ベースライン手法と比較して解法時間は4倍短縮された。
• 27,648個のGPUで強スケーリング効率が58％を超えた。楕円型演算子カーネルのパフォーマンスは、1V100あたり1TFLOPS以上を維持した。
• 実行時適応的通信戦略により、AMG粗グリッドソルバーにおいて最大4倍の性能向上が達成され、特に複雑な多重グリッド反復処理で顕著であった。
• 1V100あたり約250万グリッドポイントで、並列効率が80％に達した。これは、大規模システムにおける強いスケーラビリティを確認した。