[論文レビュー] GeantV: Results from the prototype of concurrent vector particle transport simulation in HEP

G. Amádio, A. Ananya+40 more|arXiv (Cornell University)|May 3, 2020

Particle physics theoretical and experimental studies参考文献 26被引用数 9

ひとこと要約

GeantV は、データおよび命令レベルの並列処理、ベクトル化（SIMD/SIMT）、およびデータ局所性の向上を活用して、高エネルギー物理学におけるフルデティクターシミュレーションのフレームワークを再設計する。プロトタイプは、現代のCPUで孤立したベンチマークにおいて2–4倍の高速化を達成したが、複雑なワークロードのため実世界の利便性は低下している。また、Geant4 や ROOT で使用されている再利用可能なライブラリ（VecGeom, VecCore, VecMath）を提供した。

ABSTRACT

Full detector simulation was among the largest CPU consumer in all CERN experiment software stacks for the first two runs of the Large Hadron Collider (LHC). In the early 2010's, the projections were that simulation demands would scale linearly with luminosity increase, compensated only partially by an increase of computing resources. The extension of fast simulation approaches to more use cases, covering a larger fraction of the simulation budget, is only part of the solution due to intrinsic precision limitations. The remainder corresponds to speeding-up the simulation software by several factors, which is out of reach using simple optimizations on the current code base. In this context, the GeantV R&D project was launched, aiming to redesign the legacy particle transport codes in order to make them benefit from fine-grained parallelism features such as vectorization, but also from increased code and data locality. This paper presents extensively the results and achievements of this R&D, as well as the conclusions and lessons learnt from the beta prototype.

研究の動機と目的

• 特に LHC の光度が増加する中で高まるフルデティクターシミュレーションの計算負荷に対処する。
• 不規則なメモリアクセス、深い分岐、およびデータ局所性の欠如により、現代の CPU ベクトルユニットを十分に活用できないレガシ Geant4 コードの限界を克服する。
• 微細な並列処理、特に SIMD および SIMT を用いた粒子輸送の再設計が、現実の HEP シミュレーションワークロードにおいて顕著な性能向上をもたらす可能性があることを実証する。
• CMS や Geant4 などの既存の HEP シミュレーションフレームワークに統合可能なモジュラーよりも拡張性の高いプロトタイプを開発する。
• GeantV 自体の範囲を超えて広がる HEP ソフトウェアエコシステムに貢献する再利用可能なソフトウェアライブラリ（VecGeom, VecCore, VecMath）を構築する。

提案手法

• 粒子輸送ワークフローをトラックごとに処理するのではなく、タスク（例：ステップ計算、場の統合）ごとに粒子をグループ化することで、命令およびデータ局所性を向上させる。
• 現代の CPU で AVX2 および AVX512 指令セットを用いて、単一命令複数データ（SIMD）並列処理を活用したベクトル化されたカーネルを実装する。
• 計算ニーズが類似したトラックをグループ化するデータ構造を再設計することで、複数の粒子を同時に効率的にベクトル化できるようにする。
• CMS シミュレーションフレームワークにプロトタイプを統合し、実世界のパフォーマンスと統合の複雑さを評価する。
• モジュラーなソフトウェア設計を用いて、ベクトル化レイヤー（VecCore, VecMath）と幾何抽象化（VecGeom）を分離し、より広範な再利用を可能にする。
• 個々のコンponent（例：場の統合、ステップ計算）を孤立しておよびフルシミュレーションでベンチマーク化し、パフォーマンスボトルネックを特定する。

実験結果

リサーチクエスチョン

• RQ1 不規則で分岐の深い粒子輸送シミュレーションにおいて、ベクトル化とデータ再編成はどの程度パフォーマンスを向上させ得るか？
• RQ2 多様な物理モデルを含むフルデティクターシミュレーションに統合された場合、孤立したベクトル化カーネルからの性能向上はどの程度維持されるか？
• RQ3 タスクレベルの並列処理とデータ局所性に基づく新しいシミュレーションアーキテクチャは、CMS などの既存の HEP シミュレーションフレームワークに効率的に統合可能か？
• RQ4 レガシ HEP シミュレーションコードベースを、現代のベクトルおよび並列ハードウェアに適応させるにあたり、主なソフトウェア的およびアルゴリズム的課題は何か？
• RQ5 このような再設計から、HEP ソフトウェアコミュニティ全体に恩恵をもたらす再利用可能なソフトウェアコンポーネントは何か？

主な発見

• 孤立したベンチマークにおいて、ベクトル化された実装は Haswell アーキテクチャで 1.5–3 倍、Skylake（AVX2）アーキテクチャで 2–4 倍の高速化を達成した。
• 荷電粒子用のベクトル化された場の統合の統合により、パフォーマンスが 2.12 倍（スカラーモードの 1.88 倍）向上し、現実の物理カーネルでの利得を確認した。
• 孤立したコンponents における顕著な向上にもかかわらず、粒子をベクトル操作用に再順序付けするオーバーヘッドのため、フルアプリケーション全体のパフォーマンス向上は低下した。
• プロトタイプは、CMS シミュレーションフレームワークへの GeantV 統合が最小限の作業で可能であり、パフォーマンス向上を維持すらしていることを示した。
• 本プロジェクトは、Geant4 や ROOT で使用されている生産用の 3 つのライブラリ（VecGeom, VecCore, VecMath）を成功裏に提供し、顕著なパフォーマンス向上をもたらした。
• 研究結果は、Geant4 の今後の開発、特にアーキテクチャの近代化およびアクセラレータの活用の探求に影響を与え、コードおよびデータ局所性の重要性が単なるベクトル化そのものよりも高いことを強調した。