[論文レビュー] SIMULATeQCD: A simple multi-GPU lattice code for QCD calculations

L. Mazur, Dennis Bollweg+15 more|arXiv (Cornell University)|Jun 1, 2023

Advanced Data Storage Technologies参考文献 63被引用数 4

ひとこと要約

SIMULATeQCD は、高精度なシミュレーションを実現するための公開・オープンソースのマルチGPU格子QCDコードであり、非常に改善されたステアガードクォーカー（HISQ）作用法を採用している。CUDA、HIP、SYCL といった複数のGPU API をサポートし、多様なハードウェア上で効率的な大規模計算を可能にするとともに、現代のエクサスケールコンputィング環境における柔軟性、ポータビリティ、拡張性を最適化している。

ABSTRACT

The rise of exascale supercomputers has fueled competition among GPU vendors, driving lattice QCD developers to write code that supports multiple APIs. Moreover, new developments in algorithms and physics research require frequent updates to existing software. These challenges have to be balanced against constantly changing personnel. At the same time, there is a wide range of applications for HISQ fermions in QCD studies. This situation encourages the development of software featuring a HISQ action that is flexible, high-performing, open source, easy to use, and easy to adapt. In this technical paper, we explain the design strategy, provide implementation details, list available algorithms and modules, and show key performance indicators for SIMULATeQCD, a simple multi-GPU lattice code for large-scale QCD calculations, mainly developed and used by the HotQCD collaboration. The code is publicly available on GitHub.

研究の動機と目的

• エクサスケールスーパーコンputィング環境における、複数のGPUベンダ（NVIDIA、AMD、Intel）をサポートするポータブルで高性能な格子QCDコードの需要増加に応える。
• 新しいアルゴリズムや物理モデルの実装を容易にする、現代的で保守可能かつ拡張可能なソフトウェアフレームワークを提供する。
• マルチGPUおよびマルチノードアーキテクチャを活用した、HISQフェルミオン作用法に基づく大規模QCDシミュレーションを、効率的なメモリ管理とともに実現する。
• ILDGデータフォーマットとの互換性とオープンソース開発手法の採用により、HotQCDおよび広く格子QCDコミュニティ間の協力を促進する。
• 低レベルのGPUプログラミングの詳細を抽象化することで、新規開発者による参入障壁を低減しつつ、高いパフォーマンスとポータビリティを維持する。

提案手法

• 物理的アルゴリズムと低レベルGPUカーネルを分離するモジュラーかつ抽象化レイヤー構造のソフトウェアアーキテクチャを設計し、CUDA、HIP、SYCL といった複数のGPUプログラミングインターフェースをサポートする。
• 格子場およびゲージ配置のための柔軟なインデックスシステムを実装し、GPUアーキテクチャにおけるメモリコalescingとキャッシュ効率を最適化する。
• HISQフェルミオン作用法に、改善されたゲージ場配置を統合し、フェルミオン行列式の4乗根を用いて物理的クォークフレーバー数を正しく回復する。
• ドメイン分割と非ブロッキング通信パターンを用いたマルチGPUおよびマルチノード並列化を実装し、遅延を最小限に抑え、オーバーラップを最大化する。
• 開発およびデバッグ用にプリプロセッサマクロによるCPUオンリーコンパイルをサポートするが、ベクトル化されたCPUカーネルはまだ実装されていない。
• 明確なドキュメンテーションとGitHubホスティングのレポジトリを備えた軽量でモジュラーなコードベースを提供し、MITライセンスのもとでコミュニティ貢献と長期的保守性を促進する。

実験結果

リサーチクエスチョン

• RQ1 複数のGPUプログラミングインターフェース（CUDA、HIP、SYCL）を効率的にサポートしつつ、高いパフォーマンスとポータビリティを維持するための格子QCDコードの設計は、どのように実現できるか？
• RQ2 マルチGPUおよびマルチノードシステムにおいて、HISQフェルミオン作用法の効率的でスケーラブルかつ保守可能な実装を実現するためのアーキテクチャパターンは何か？
• RQ3 現代の格子QCDコードは、新規研究者やプロジェクトにおけるアルゴリズム開発およびハードウェア移植の複雑さをどの程度軽減できるか？
• RQ4 SIMULATeQCDフレームワークは、ウィルソンフェルミオン作用法や動的 charm クォークの統合といった新しい物理モデルの統合をどの程度効果的にサポートできるか？
• RQ5 Heterogeneous GPUアーキテクチャを備えた最新および将来のエクサスケールシステムにおいて、SIMULATeQCDのパフォーマンス特性はどのようなものか？

主な発見

• SIMULATeQCD は、CUDA、HIP、SYCL といった複数のGPUプログラミングインターフェースを正常にサポートし、Frontier、LUMI、Perlmutter といった多様なHPCシステム間でのポータビリティを実現した。
• 大規模な格子において高いパフォーマンスを達成しており、マルチGPUノードでの強スケーリングが確認され、QCDの熱力学的性質のエクサスケールシミュレーションに適している。
• モジュラー設計のおかげで、圧力のテイラー展開係数といった新しいアルゴリズムの実装が、最小限のコード変更で容易に実現できる。
• ILDGデータフォーマットとの完全な互換性を備えたHISQ作用法をサポートしており、既存の格子QCDデータおよびツールとの相互運用性を実現している。
• HotQCDコラボレーションが、QCD状態方程式、転移温度、保存量フラクチュエーションの高精度計算にすでにSIMULATeQCDを活用している。
• GitHub上でのオープンソース、MITライセンスでのリリースにより、長期的保守性とコミュニティ主導の開発が保証されており、世界中の複数の機関から活発な貢献が寄せられている。