[論文レビュー] Solving Key Challenges in Collider Physics with Foundation Models

V. M. Mikuni, Benjamin Nachman|arXiv (Cornell University)|Apr 24, 2024

Computational Physics and Python Applications被引用数 5

ひとこと要約

OmniLearnは、ジェット用の大規模な監視付き基盤モデルを訓練し、一度学習すると、データセット、検出器、衝突系を跨いだ複数の下流ジェット物理タスクを、タスク固有の事前学習なしで改善・加速・有効化します。

ABSTRACT

Foundation Models are neural networks that are capable of simultaneously solving many problems. Large Language Foundation Models like ChatGPT have revolutionized many aspects of daily life, but their impact for science is not yet clear. In this paper, we use a new Foundation Model for hadronic jets to solve three key challenges in collider physics. In particular, we show how experiments can (1) save significant computing power when developing reconstruction algorithms, (2) perform a complete uncertainty quantification for high-dimensional measurements, and (3) search for new physics with model agnostic methods using low-level inputs. In each case, there are significant computational or methodological challenges with current methods that limit the science potential of deep learning algorithms. By solving each problem, we take jet Foundation Models beyond proof-of-principle studies and into the toolkit of practitioners.

研究の動機と目的

• ジェット物理学における基盤モデルアプローチを動機づけるため、ジェットに対する大規模な監視付き訓練を活用して、一般的で転用可能なジェット表現を学習する。
• 単一のOmniLearnバックボーンが、元の訓練タスクを超える複数の下流タスクを改善することを示す。
• ジェットタイプ、検出器のシミュレーション、衝突系全体の一般化を示し、条件付き生成と弱監視機能を可能にする。
• 訓練効率の向上と、実際の衝突型アナリシスへの実用的適用性を強調する。

提案手法

• ジェットを点群として表現し、Point-Edge Transformer (PET) バックボーンを構築する。
• 時間条件付き拡散入力を用いた、マルチクラスジェット分類タスク（10クラス）で共有表現を訓練する。
• タスク固有のヘッドを付与する：分類ヘッドと生成ヘッド、さらに下流タスク用の拡散条件付き機構を付与。
• データセットと条件ラベル間のロバスト性を促進するために、特徴ドロップと分類器なしガイダンスに触発されたレイヤードロップを使用。
• 複数の損失項を組み合わせる：分類の交差エントロピー、拡散スタイル生成のための速度ベース損失、学習を正則化するスミア項。
• JetClassの1億ジェットで訓練し、128 GPU構成で、拡散時間条件付き埋め込みと安定性のためのLayerScaleを使用。

Figure 1: Neural network architecture used to train OmniLearn . The main neural network blocks of the architecture are shown in the further left with detailed architecture design shown for each block in the right. See the text for more details.

実験結果

リサーチクエスチョン

• RQ1 監視付きの大規模基盤モデルが、異なるジェットタイプ、検出器シミュレーション、衝突系間で一般化できるか。
• RQ2 単一のOmniLearnバックボーンを1タスクで事前訓練することは、他のジェット物理タスク（分類、生成、尤度比推定、異常検知）で速度アップまたは性能向上をもたらすか。
• RQ3 条件付け要件が異なる新しい下流データセットへOmniLearnを転送する際の訓練効率の向上と性能の変化はどの程度か。
• RQ4 データセット間での条件付き生成および再加重/展開の文脈でのOmniLearnの性能はどうか。
• RQ5 OmniLearnは堅牢な弱監視と共鳴的異常検知をジェット物理学で可能にするか。

主な発見

• OmniLearnは、トップクォークタグ付けとクォーク/グルーンドデータセットで、スクラッチから分類器を訓練するよりも優れており、より高いAUCと精度を達成。
• CMS Open Data のクォーク/グルーんタグ付けでは、OmniLearnがPET分類器に匹敵するか、わずかに上回り、収束も速い。
• ATLASトップタグ付けでは、OmniLearnが最先端の性能を達成し、完全データセットで訓練されたモデルと同等かそれを超えることがあり、例数が少なくてもファインチューニング可能。
• OmniLearnは複数のデータセットに跨って、訓練時間はしばしば2–3.5倍の速さで収束する。
• DIS（電子-陽子ジェット）では、OmniLearnは非OmniLearnベースラインと同等の性能を維持しつつ、収束が速く、系を跨ぐ一般化を示す。
• OmniLearnは条件付き生成研究（JetNet）を可能にし、共有バックボーンを用いた粒子レベルおよびジェットレベルの生成で競合力を示す。

Figure 2: Validation loss curves obtained in the top quark tagging (left) and quark/ gluon (rights) datasets. The OmniLearn validation loss is compared with the PET classifier trained from scratch.