[論文レビュー] Pre-training strategy using real particle collision data for event classification in collider physics

T. Kishimoto, M. Morinaga+2 more|arXiv (Cornell University)|Dec 12, 2023

Particle Detector Development and Performance被引用数 6

ひとこと要約

本論文は、CMSオープンデータから得た実際の粒子衝突データを用いて、自己教師あり事前学習戦略を提案し、衝突物理学におけるイベント分類を向上させることを目的としている。ラベルなしの実データにおいて粒子オブジェクトの種別をマスキングし予測することで、下流の分類タスクに効果的に転送可能な頑健な特徴を学習する。特にラベル付きデータが限られる状況において顕著な性能向上を示し、低データ環境下での最先端のAUC向上を実証した。

ABSTRACT

This study aims to improve the performance of event classification in collider physics by introducing a pre-training strategy. Event classification is a typical problem in collider physics, where the goal is to distinguish the signal events of interest from background events as much as possible to search for new phenomena in nature. A pre-training strategy with feasibility to efficiently train the target event classification using a small amount of training data has been proposed. Real particle collision data were used in the pre-training phase as a novelty, where a self-supervised learning technique to handle the unlabeled data was employed. The ability to use real data in the pre-training phase eliminates the need to generate a large amount of training data by simulation and mitigates bias in the choice of physics processes in the training data. Our experiments using CMS open data confirmed that high event classification performance can be achieved by introducing a pre-trained model. This pre-training strategy provides a potential approach to save computational resources for future collider experiments and introduces a foundation model for event classification.

研究の動機と目的

• モンテカルロシミュレーションによる訓練データ生成にかかる計算コストを低減すること。
• 特に新しい物理現象の探索において、ラベル付き訓練データが不足する状況でのイベント分類性能を向上させること。
• シミュレートされたデータではなく、実際の衝突データを用いて、転移可能な基盤モデルを構築すること。
• 事前学習モデルの一般化性および異なる物理過程への転移可能性を評価すること。
• 実データを用いた自己教師あり学習が、シミュレーションベースの事前学習と比較して競争力のある性能を示すかどうかを実証すること。

提案手法

• 自己教師あり学習手法を用い、CMSオープンデータから得た実際の粒子衝突データを対象に、事前学習を実施。この際、粒子オブジェクトの種別をマスキングし、それを予測する。
• トランスフォーマーに基づくディープラーニングモデルを採用。事前学習段階と微調整段階で、埋め込みおよび特徴抽出層を共有する。
• 交差エントロピー損失とコサインスケジューリングを用いた学習率スケジューリングを伴う確率的勾配降下法を用いて学習を実施。
• 下流のイベント分類タスクにおいて、ラベル付きデータを用いて事前学習済みエンコーダーおよび特徴モジュールを微調整する。
• 分類器ヘッドは初期化なしで学習を開始するが、下位層は事前学習済み重みで初期化することで、学習済み表現を活用する。
• 実験はNVIDIA A100 GPUを搭載したローカルクラスタを用い、約90バッチ/秒の学習速度を達成した。

実験結果

リサーチクエスチョン

• RQ1 実際の衝突データを用いた自己教師あり事前学習は、衝突物理学におけるイベント分類性能を向上させることができるか？
• RQ2 実データを用いた事前学習は、シミュレーションベースの事前学習と比較して、下流の分類精度において優れているか？
• RQ3 ラベル付きイベント数が増加するにつれて、事前学習による性能向上が薄れるか？
• RQ4 実データを用いた事前学習は、異なる物理過程への転移性をどの程度向上させるか？
• RQ5 事前学習データのスケールが、イベント分類性能向上に与える影響はどの程度か？

主な発見

• ラベル付きイベントが約~10^4個しかない状況でも、実データを用いた事前学習によりAUCが顕著に向上し、高いデータ効率性を示した。
• ラベル付きイベント数が増加するにつれて、事前学習による性能向上は薄れるが、約10^6イベントで曲線が収束する。
• より多くの事前学習データを用いるほどAUC向上が大きくなるため、より大きな実データセットを用いることでさらなる向上が期待できる。
• 大規模なモンテカルロシミュレーションを事前学習に用いることなく、高い分類性能を達成した。
• 事前学習に実データを用いることで、シミュレートされた物理過程に起因するバイアスを低減し、シミュレーションに伴う計算的オーバーヘッドを回避した。
• 本手法は、将来的な衝突実験において、大規模なシミュレーションベースのデータ生成を不要にすることで、計算コストの低減に強く寄与する可能性を示した。