[論文レビュー] High-speed turbulent flows towards the exascale: STREAmS-2 porting and performance

Srikanth Sathyanarayana, Matteo Bernardini+3 more|arXiv (Cornell University)|Apr 11, 2023

Lattice Boltzmann Simulation Studies被引用数 4

ひとこと要約

本論文は、エクサスケールHPCシステム向けに、ポータブルで高パフォーマンスな圧縮性流れソルバ―であるSTREAmS-2を提示する。これは、NVIDIA GPU用の従来のCUDA Fortranバックエンドに加え、AMD GPU用の新しいHIPFortバックエンドを追加することで拡張されたものである。512ノードで95%を超える弱スケーリングを達成し、超音速およびハイパーバースト音速の乱流流れの1兆点シミュレーションを可能にした。

ABSTRACT

Exascale High Performance Computing (HPC) represents a tremendous opportunity to push the boundaries of Computational Fluid Dynamics (CFD), but despite the consolidated trend towards the use of Graphics Processing Units (GPUs), programmability is still an issue. STREAmS-2 (Bernardini et al. Comput. Phys. Commun. 285 (2023) 108644) is a compressible solver for canonical wall-bounded turbulent flows capable of harvesting the potential of NVIDIA GPUs. Here we extend the already available CUDA Fortran backend with a novel HIPFort backend targeting AMD GPU architectures. The main implementation strategies are discussed along with a novel Python tool that can generate the HIPFort and CPU code versions allowing developers to focus their attention only on the CUDA Fortran backend. Single GPU performance is analysed focusing on NVIDIA A100 and AMD MI250x cards which are currently at the core of several HPC clusters. The gap between peak GPU performance and STREAmS-2 performance is found to be generally smaller for NVIDIA cards. Roofline analysis allows tracing this behavior to unexpectedly different computational intensities of the same kernel using the two cards. Parallel performance is measured on the two largest EuroHPC pre-exascale systems, LUMI (AMD GPUs) and Leonardo (NVIDIA GPUs). Strong scalability reveals more than 80% efficiency up to 16 nodes for Leonardo and up to 32 for LUMI. Weak scalability shows an impressive efficiency of over 95% up to the maximum number of nodes tested (256 for LUMI and 512 for Leonardo). This analysis shows that STREAmS-2 is the perfect candidate to fully exploit the power of current pre-exascale HPC systems in Europe, allowing users to simulate flows with over a trillion mesh points, thus reducing the gap between the Reynolds numbers achievable in high-fidelity simulations and those of real engineering applications.

研究の動機と目的

• 異種HPCアーキテクチャ間での高精度CFDシミュレーションにおけるGPUポータビリティの課題に対処すること。
• コードの可読性と保守性を保ちながら、STREAmS-2ソルバをNVIDIAおよびAMD GPUアーキテクチャの両方に対応させる。
• 前エクサスケールシステム上で圧縮性壁流れ乱流の大型直接数値シミュレーション（DNS）を可能にする。
• ルーフライン解析と通信を回避するパターンを用いて、異なるGPUアーキテクチャ間でのパフォーマンス最適化を実施する。
• 主なEuroHPC前エクサスケールシステム、LUMIおよびLeonardoで、ほぼ理想に近い強スケーリングおよび弱スケーリングを達成する。

提案手法

• AMD GPUアーキテクチャ向けに、新規のHIPFortバックエンドを開発した。
• CUDA Fortranカーネルを自動的にHIPFortおよびCPUコードに変換するPythonベースのコード生成ツールを設計し、一貫性を確保するとともに保守負荷を低減した。
• オブジェクト指向で多バックエンドのソフトウェアアーキテクチャを採用し、アルゴリズム論理とハードウェア固有の実装を分離した。
• NVIDIA A100およびAMD MI250x GPU上で単一ノードのパフォーマンス分析を実施し、グリッドサイズ、ループ並列化、スレッドマスキング、分岐分離の影響を評価した。
• ルーフラインパフォーマンスモデルを用いて、GPUアーキテクチャ間での計算強度の差を特定した。
• 同期的および非同期的通信パターンを用いて、LUMI（AMD）およびLeonardo（NVIDIA）で強スケーリングおよび弱スケーリングを評価した。

実験結果

リサーチクエスチョン

• RQ1 単一ノード構成において、STREAmS-2のパフォーマンスはNVIDIA A100とAMD MI250x GPUでどのように異なるか？
• RQ2 異なるGPUアーキテクチャにおいて、ピークGPU帯域幅と実際のSTREAmS-2パフォーマンスとの間のギャップの原因は何か？
• RQ3 非同期通信は、大規模HPCシステムにおける強スケーリングおよび弱スケーリングに、どの程度の向上効果をもたらすか？
• RQ4 新しいHIPFortバックエンドは、LUMIのようなAMDベースのシステムでCUDA Fortranと同等のパフォーマンスを達成できるか？
• RQ5 現在の前エクサスケールシステム上で、STREAmS-2が効率的にシミュレート可能な最大問題サイズ（グリッドポイント数）はどの程度か？

主な発見

• 理論的ピーク性能が類似しているにもかかわらず、NVIDIA A100ではピークGPU帯域幅と実際のSTREAmS-2パフォーマンスとのギャップが、AMD MI250xよりも小さい。
• ルーフライン分析により、同じカーネルがNVIDIAおよびAMD GPU上で顕著に異なる計算強度を示すことが判明し、パフォーマンスの差を説明できた。
• 強スケーリングは、Leonardo（NVIDIA）で最大16ノード、LUMI（AMD）で最大32ノードまで80%以上の効率を示し、優れた強スケーリングを実現した。
• 弱スケーリングは、LUMIで最大256ノード、Leonardoで最大512ノードまで95%以上の効率を示し、ほぼ理想に近い弱スケーリングを達成した。
• 非同期通信は同期モードと比較して1〜2.5%のパフォーマンス損失を低減し、特に1GPUあたりのグリッドサイズが小さい場合に顕著な利点を示した。
• システムは1兆点を超えるメッシュポイントの流れを効率的にシミュレートでき、シミュレートされた乱流数と現実のレイノルズ数の差を顕著に縮小した。