[論文レビュー] PC-JeDi: Diffusion for Particle Cloud Generation in High Energy Physics

Matthew Leigh, D. Sengupta+4 more|arXiv (Cornell University)|Mar 9, 2023

Particle physics theoretical and experimental studies参考文献 86被引用数 5

ひとこと要約

PC-JeDi は、スコアベースの学習とトランスフォーマーを用いた拡散型生成モデルであり、高エネルギー物理学における高精度な粒子クラウドジェットを生成する。推論速度が GAN よりも遅いものの、ジェットの部分構造の忠実度と条件付き生成において最先端の性能を達成しており、従来のモンテカルロ法と比較して 10 倍の高速化を実現する、柔軟で順列同変なフレームワークを提供する。

ABSTRACT

In this paper, we present a new method to efficiently generate jets in High Energy Physics called PC-JeDi. This method utilises score-based diffusion models in conjunction with transformers which are well suited to the task of generating jets as particle clouds due to their permutation equivariance. PC-JeDi achieves competitive performance with current state-of-the-art methods across several metrics that evaluate the quality of the generated jets. Although slower than other models, due to the large number of forward passes required by diffusion models, it is still substantially faster than traditional detailed simulation. Furthermore, PC-JeDi uses conditional generation to produce jets with a desired mass and transverse momentum for two different particles, top quarks and gluons.

研究の動機と目的

• 従来のモンテカルロ法と比較して計算コストを低減する、ジェットシミュレーションの高速かつ正確なサーヴィェイランスモデルの開発。
• ジェットイベントにおける無順序な粒子クラウドデータを扱うのに適した順列同変アーキテクチャを用いて、現実的なジェット部分構造を点群として生成する課題への対処。
• 特定の物理的性質（例えば、所望の横運動量と質量を持つトップクォークジェットやグルーオンジェット）を持つジェットの条件付き生成を可能にする。
• 従来の生成ジェットモデルでは報告されていなかった部分構造観測量を含む包括的な指標を用いて、モデルの性能を評価する。
• 生成速度と忠実度のトレードオフを解明し、将来的な最適化の可能性を検討する。

提案手法

• PC-JeDi は、ノイズ付加軌道を逆方向にたどるスコアベースの拡散プロセスを採用し、標準正規事前分布から段階的にノイズ除去することで、粒子運動量を学習する。
• モデルは順列同変なトランスフォーマーに基づくアーキテクチャを採用しており、ジェットイベントにおける無順序な粒子クラウドデータの処理に自然に適している。
• 条件付き生成は、ターゲットのジェット質量と横運動量に条件付けられた拡散プロセスにより実現され、特定のジェットタイプの制御されたサンプリングが可能になる。
• ノイズ除去プロセスは、適応的ステップサイズを用いた ODE/SDE ソルバーによって実装され、データ分布上でのスコアマッチングにより推定されたスコア関数が使用される。
• 学習は、時間ステップのシーケンス全体でノイズ除去損失を最小化する形で行われ、ネットワークは各ステップでのスコアを予測し、逆方向プロセスをガイドする。
• 推論は、初期にランダムノイズから開始し、200 ステップにわたり繰り返しノイズ除去することで、現実的なジェット構成が生成されるまで粒子運動量を精錬する。

Figure 2 : Diagram of the PC-JeDi generation procedure. Random noise is sampled at the beginning of the loop from a standard normal distribution. Then any chosen integration sampler is iteratively applied in order to fully denoise the input towards actual data, using the conditional model as a noise

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーを搭載した拡散型生成モデルは、実ジェットの統計的性質を再現する高精度な粒子クラウドジェットを生成できるか？
• RQ2 PC-JeDi は、部分構造観測量と忠実度指標において、最先端の MPGAN モデルと比較してどの程度の性能を示すか？
• RQ3 PC-JeDi は、所望の質量と横運動量を持つトップクォークジェットやグルーオンジェットなど、特定の物理的性質を持つジェットをどの程度正確に生成できるか？
• RQ4 PC-JeDi の計算コストは、GAN ベースのモデルおよび従来のモンテカルロシミュレーションと比較してどの程度か？
• RQ5 PC-JeDi は、非包含的トップジェットや二次元マージナルなどの複雑な相関関係を、ジェット部分構造で捉えることができるか？

主な発見

• PC-JeDi は、部分構造忠実度や分布類似度を測る指標を含め、MPGAN モデルと同等の性能を達成している。
• 特に N-サブジェティネスやプランラーフローなどの部分構造観測量の分布を捉える点で、MPGAN を上回る性能を示している。
• 所望の横運動量と質量を指定した条件付きジェットを正確に生成できており、出力の物理的性質に対する制御が的確に実現されている。
• 1 サンプルあたり約 200 回の順伝播が必要であるものの、PC-JeDi は従来のモンテカルロシミュレーションと比較して約 10 倍の高速化を達成している。
• GPU 上で 1000 個のジェットを生成する際の推論時間は PC-JeDi で約 500ms、モンテカルロ法で約 4721ms であり、シミュレーション全体に比べ顕著な高速化が実現されている。
• トランスフォーマーに基づくアーキテクチャにより、バッチ処理におけるスケーラビリティが向上し、バッチサイズに比例して推論時間が線形に増加する。これは、一部の GAN で見られる非線形的スケーリングとは対照的である。

Figure 3 : The relative transverse momentum (left) and invariant mass (right) of gluon jets generated with MPGAN (orange) and PC-JeDi (DDIM solver, green; EM solver, red) compared to the MC simulation (shaded blue). Calculated from the leading 30 $p_{\mathrm{T}}$ constituents using the constituent $