[論文レビュー] A Portable Parton-Level Event Generator for the High-Luminosity LHC

Enrico Bothmann, J. T. Childers+4 more|arXiv (Cornell University)|Nov 10, 2023

Particle physics theoretical and experimental studies被引用数 6

ひとこと要約

本論文では、ハイ・リタニティーLHC向けに、ポータブルでハードウェアに依存しない、部分素粒子レベルのイベントジェネレータPepperを提示する。このフレームワークは、CPU、GPU、アクセラレータを含む現代のコンピューティングアーキテクチャを最適化しており、トップクォーク対と4本のジェットを伴うプロセスに対して、H100 GPUで最大時速29億イベントの未重み付けイベントを生成する。これは、従来のフレームワークと比較して、性能と持続可能性の両面で顕著な向上を示しており、既存のシミュレーションパイプラインと完全に互換性がある。

ABSTRACT

Profiling results for top pair plus jets production with Pepper v1.1.1 Contents This includes data/output for the following GPU accelerated unweighted event generation runs: A run over a few seconds to produce pepper-internal timing results (`*timers.csv` files) The same run, but with `nvprof` (`*.nvprof` files) A run with a single event batch, with `ncu --import-source on --set full` (`*.ncu-rep` files) The simulated process is top pair production with n jets, with n = 0...4, at 13 TeV. The configuration files (`pepper.ini`) are included. Also the `pepper_cache` directories are included. All results are for the "main" pepper variant (which uses Kokkos to utilise the GPU) and for the "native" pepper variant (which uses CUDA directly). Software stack and CPU/GPU hardware details The software/hardware used for the profiling are as follows: GPU Driver: NVIDIA-SMI: 550.100, Driver Version: 550.100, CUDA Version: 12.4 GPU: Tesla V100S-PCIE-32GB Cuda compilation tools: release 11.6, V11.6.124 Kokkos 4.3.01 gcc (GCC) 11.4.1 20231218 (Red Hat 11.4.1-3) Intel(R) Xeon(R) Silver 4214R CPU @ 2.40GHz Note that the event generation includes write-out of event files. The LHEH5 files are written to local SSD storage. The event files are not included in this dataset. Additional run parameters TTBar number of batches batch size rate (main variant) rate (native variant) +0j 20 1,179,648 1.4e10 2.0e10 +1j 20 1,179,648 1.5e10 2.4e10 +2j 20 1,179,648 * 2 1.3e10 2.7e10 +3j 20 1,179,648 / 2 6.4e9 1.4e10 +4j 20 1,179,648 2.2e9 2.2e9 The number of batches has been chosen such that the most important sub processes are samples and such that the overall runtime is at least a few seconds. The batch size has been chosen by scanning over factors of two and picking the best-performing batch size with the native variant. The event rate is the number given in the Pepper output. It does not include the closing time of the generated HDF5 file, which can be significant for the two lowest multiplicities. This can be checked by inspecting the corresponding relative and absolute timing results in the `*timing.csv` files included in the dataset.

研究の動機と目的

• 高リタニティーLHCの部分素粒子レベルのイベント生成における、増大する計算的・環境的負荷に対処すること。
• GPU やアクセラレータを含む多様な現代的ハードウェア上で、効率的でポータブルかつスケーラブルなイベント生成を可能にすること。
• 性能とリソース利用効率の向上により、モンテカルロシミュレーションの炭素足跡を低減すること。
• 既存のコリダリアフェノメノロジーパイプラインと互換性を持つ、プロダクション運用可能なオープンソースフレームワークを提供すること。
• 高ジェット多重度における低重み付け効率の性能ボトルネックを、アルゴリズム的およびハードウェアに配慮した最適化によって克服すること。

提案手法

• C++ および CUDA を用いたポータブルでモジュラーなアーキテクチャを実装し、クロスプラットフォーム展開のためのハードウェア固有の詳細を抽象化する。
• 解析的解法とニューラルネットワークにインspiredされたサンプリングを組み合わせた、適応的フェーズスペース統合を採用して効率を向上させる。
• 行列要素は、最適化されたヘリシティ和算とリーディングカラープロジェクションを用いたBerends–Giele再帰法で計算する。
• 複数のコアおよびデバイスに跨る並列化されたイベント生成に加え、I/Oボトルネックを最小限に抑えるために出力パイプラインを設定可能にしている。
• 動的ロードバランシングをサポートし、高精度なサンプリングのためのChiliフェーズスペースジェネレータと統合している。
• 軽量なイベントデータレイアウトを採用し、非同期I/Oをサポートすることで、計算とストレージの分離を実現している。

Figure 1: Particle-level validation for two observables for the $pp\to Z+n\,\text{jets}$ process, comparing Sherpa standalone results with Pepper + Sherpa results, where the parton-level events are generated by Pepper and then read in by Sherpa to perform the additional particle-level simulation. Th

実験結果

リサーチクエスチョン

• RQ1 1つのポータブルなイベントジェネレータが、CPU や GPU を含む多様なハードウェアプラットフォームで、高多重度のLHCプロセスに対して高い性能を達成できるか？
• RQ2 Comix などの従来ツールと比較して、新しいフレームワークのイベント生成レートとリソース効率はどの程度向上しているか？
• RQ3 ハードウェアに依存しない設計が、高エネルギー物理学のシミュレーションにおけるポータビリティと持続可能性をどの程度向上させるか？
• RQ4 現代のイベント生成における主な性能ボトルネックは何か。そして、異種アーキテクチャ上でそれらをどのように緩和できるか？
• RQ5 $t\bar{t}+4j$ や $Z+5j$ のような、追加で5本のジェットを伴うプロセスに対しても、高い未重み付け効率を維持できるか？

主な発見

• Pepperは、NVIDIA H100 GPU 上で $pp \to t\bar{t}+4j$ に対して最大時速29億未重み付けイベントを生成し、CPUオンリーベースラインと比較して2.5倍の性能向上を達成した。
• $pp \to e^+e^-+5j$ に対しては、H100上での生成レートが1時間に13,000イベントに達し、CPUではたったの380イベントにとどまるため、34倍の高速化が実現した。
• 2× Skylake8180 CPU 上でも、Comixが非デフォルトで最適化されたモードで実行されている場合でさえ、Pepperは最大35％のイベント生成レート向上を示した。
• GPU上では、低多重度プロセスにおいて、I/Oが主なボトルネックとなる。これは、単一スレッドI/Oによるものであり、マルチコアI/Oオフロードの必要性を示唆している。
• フレームワークは複数ノードに跨るスケーリングを効率的に実現でき、FermilabのWilsonクラスタのようなGPUアクセラレータを備えたシステムでも、CPUクラスタでも優れた性能を発揮した。
• 実行時プロファイリングの結果、CPU上では行列要素の評価が主要なボトルネックであるのに対し、GPU上ではI/Oが支配的であることが判明した。これにより、将来のバージョンではI/Oパイプラインの最適化が不可欠であることが示された。

Figure 2: Particle-level validation for two observables of the $pp\to t\bar{t}+n\,\text{jets}$ process, comparing Sherpa standalone results with Pepper + Sherpa results, for which the parton-level events are generated by Pepper and then read in by Sherpa to perform the additional particle-level simu