[論文レビュー] Learning the language of QCD jets with transformers

Thorben Finke, M. Krämer+2 more|arXiv (Cornell University)|Mar 13, 2023

Computational Physics and Python Applications被引用数 4

ひとこと要約

本稿では、高エネルギー物理学におけるジェット生成のための変換器ベースの自己回帰的密度推定フレームワークを提案する。ジェット成分を言語的構造に類似した離散的「語」として扱い、QCDジェットとトップジェットの両方のデータで学習することで、複雑で高次元の確率分布を学習する。このモデルは、実際のジェット観測量とほとんど区別できない高精度なデータ生成を可能にし、高次元の密度推定の課題に、従来の手法が直面する次元の呪いと相関の喪失の問題に対処する。

ABSTRACT

Transformers have become the primary architecture for natural language processing. In this study, we explore their use for auto-regressive density estimation in high-energy jet physics, which involves working with a high-dimensional space. We draw an analogy between sentences and words in natural language and jets and their constituents in high-energy physics. Specifically, we investigate density estimation for light QCD jets and hadronically decaying boosted top jets. Since transformers allow easy sampling from learned densities, we exploit their generative capability to assess the quality of the density estimate. Our results indicate that the generated data samples closely resemble the original data, as evidenced by the excellent agreement of distributions such as particle multiplicity or jet mass. Furthermore, the generated samples are difficult to distinguish from the original data, even by a powerful supervised classifier. Given their exceptional data processing capabilities, transformers could potentially be trained directly on the massive LHC data sets to learn the probability densities in high-energy jet physics.

研究の動機と目的

• 従来の手法が次元の呪いと相関の喪失に直面する高次元密度推定の課題に対処すること。
• 自然言語処理で成功を収めた変換器が、ジェット成分を離散的トークンとして扱い、複雑な自己回帰的確率分布を学習できるかを検証すること。
• 固定サイズのモデル（例：正規化流れ）に起因する制限を回避し、可変な多重度を持つジェットの尤度評価と高品質な生成的サンプリングを可能にすること。
• 生成的サンプリングと分類器ベースの評価を通じて、学習された密度の質を評価し、現実性と統計的整合性を保証すること。
• モデルがQCDジェットとトップジェットの主な物理的特徴、特にジェット質量、多重度、角度分布を的確に捉えているかを確認すること。

提案手法

• ジェット成分の性質（横運動量 $p_T$、$\Delta\eta$、$\Delta\phi$）を離散的なビンに分割し、粒子状態の「語彙」として構成する。
• 成分を $p_T$ で順序付け、基本的な文法を導入することで、条件付き確率の積としての連鎖密度の自己回帰的モデリングを可能にする。
• 全過去の成分を入力として受け取り、各成分の確率を予測する標準的な変換器エンコーダーを、尤度最大化推定法で学習する。
• top-k および全確率分布に基づくサンプリング戦略を用い、学習済み密度から合成ジェットサンプルを生成する。
• 多重度、$p_T$、$\Delta\eta$、ジェット質量といった観測量を用いて、実データと生成データの分布を比較し、生成品質を評価する。
• 実データと生成データを区別するためのParticleNet分類器を訓練し、分布の整合性を示す指標としてAUCスコアを用いる。

実験結果

リサーチクエスチョン

• RQ1 変換器がジェット成分をシーケンス内の離散的「語」として扱うことで、QCDジェットとトップジェットの高次元確率密度を効果的に学習できるか？
• RQ2 生成されたジェットサンプルは、実データと比較して多重度、$p_T$、$\Delta\eta$、ジェット質量といった主要な物理的観測量をどれほど正確に再現するか？
• RQ3 教師あり分類器が実データと生成データをどれだけ区別できるか（分布の整合性の指標として）、学習された密度の現実性を示すか？
• RQ4 より複雑な内部構造を示すトップジェットに対して、モデルはどれほど一般化性能を発揮するか？
• RQ5 異なるサンプリング戦略（top-k 対全分布）が、生成サンプルの現実性と物理的整合性にどのように影響を与えるか？

主な発見

• 生成されたQCDジェットサンプルは、粒子多重度、横運動量、角度変数の分布において、実データと非常に良好に一致しており、統計的差異は最小限に抑えられている。
• top-k でサンプリングされたQCDジェットと実データを区別するためのParticleNet分類器は、AUC約0.95を達成しており、生成データの約1%しか実データと明確に分離できないことを示している。
• 全確率分布からのサンプリングでは、高多重度および高質量ジェットの過剰サンプリングが生じ、物理的に不自然な尾部が発生し、区別可能なサンプルの割合が約5%に増加している。
• トップジェットに関しては、$\log(p_T)$、$\Delta\eta$、$m^{\text{jet}}$ の1次元分布がQCDジェットと同等の忠実度で再現されているが、高多重度イベントの学習が限られているため、多重度の再現性はやや劣っている。
• 実データとトップジェット生成サンプルを区別する分類器のAUCは約0.7であり、QCDジェットの場合よりわずかに高い分離性能を示しており、これはトップジェットの構造的複雑性とサンプリングの分散の高さによるものと推定される。
• 結果から、トップジェットのモデリングをさらに向上させるには、より大規模なデータセットと高密度の成分数を用いた訓練が不可欠であると示唆される。