[論文レビュー] Particle Transformer for Jet Tagging

H. Qu, C. Li+1 more|arXiv (Cornell University)|Feb 8, 2022

Astrophysics and Cosmic Phenomena被引用数 45

ひとこと要約

本論文は JetClassという大規模ジェットタグ付けデータセットと、対ペア相互作用を考慮した注意機構を備えた Transformer ベースのモデル ParT を提案し、JetClass で従来法を上回り、ファインチューニング後のベンチマークを改善します。

ABSTRACT

Jet tagging is a critical yet challenging classification task in particle physics. While deep learning has transformed jet tagging and significantly improved performance, the lack of a large-scale public dataset impedes further enhancement. In this work, we present JetClass, a new comprehensive dataset for jet tagging. The JetClass dataset consists of 100 M jets, about two orders of magnitude larger than existing public datasets. A total of 10 types of jets are simulated, including several types unexplored for tagging so far. Based on the large dataset, we propose a new Transformer-based architecture for jet tagging, called Particle Transformer (ParT). By incorporating pairwise particle interactions in the attention mechanism, ParT achieves higher tagging performance than a plain Transformer and surpasses the previous state-of-the-art, ParticleNet, by a large margin. The pre-trained ParT models, once fine-tuned, also substantially enhance the performance on two widely adopted jet tagging benchmarks. The dataset, code and models are publicly available at https://github.com/jet-universe/particle_transformer.

研究の動機と目的

• コライダー物理における深層学習手法を前進させるための、大規模な公開ジェットタグ付けデータセットの必要性を動機づける。
• 注意機構に対するペアワイズ粒子相互作用を組み込み、タグ付け性能を向上させる Transformer ベースのアーキテクチャ（ParT）を提案する。
• JetClass の包括的な評価を提供し、ファインチューニングを通じて確立されたジェットタグ付けベンチマークへの転移利得を示す。

提案手法

• JetClass を 100百万ジェット、10 種類のジェットに渡る定義と、これまで未探索のカテゴリを含む形で定義する。
• ParT を導入する、2つの入力を使用する Transformer の変種: 1) 粒子ごとの特徴量、2) 対ペア相互作用特徴量。
• プリソフトマックス注意重みに対して対ペア相互作用バイアス U を加えた、粒子自己注意 (P-MHA) を拡張する。
• 最終分類のためのグローバルなジェット表現を生成するクラス注意機構を実装する。
• 粒子 4-ベクトルから導出される対ペア相互作用特徴を、8次元の相互作用埋め込みを用いて変換しエンコードする。
• ParT をエンドツーエンドで訓練し、PFN、P-CNN、ParticleNet と比較する。さらに他のデータセットへの事前訓練 + ファインチューニングも評価する。

実験結果

リサーチクエスチョン

• RQ1 対ペア粒子相互作用情報を含む Transformer ベースのアーキテクチャは、大規模なジェットデータセット上で従来のジェットタグ付けモデルを上回るのか？
• RQ2 注意機構における対ペア相互作用バイアス（P-MHA）の寄与は全体の性能にどのように影響するのか？
• RQ3 JetClass での事前訓練が、ファインチューニングを介して既存のジェットタグ付けベンチマークの性能を向上させるのか？

主な発見

• ParT は JetClass で ParticleNet および他のベースラインよりも高い精度と AUC を達成する。
• P-MHA を介して対粒子相互作用を組み込むことは、単純な Transformer に比べて顕著な向上をもたらす。
• ParT は JetClass で事前訓練し、他のジェットタグ付けベンチマークでファインチューニングした場合に大幅な改善を提供する。
• いくつかのシグナルタイプ全体で、ParT は ParticleNet と比較して背景排除を大幅に改善し、いくつかのジェットタイプで大きな利得を得る。
• アブレーション実験では P-MHA を標準の MHA に置換すると精度と背景排除が低下することを示し、対ペア相互作用モデリングの価値が確認される。