[論文レビュー] Zero-Permutation Jet-Parton Assignment using a Self-Attention Network

J. S. H. Lee, Inkyu Park+2 more|arXiv (Cornell University)|Dec 7, 2020

Particle physics theoretical and experimental studies参考文献 38被引用数 5

ひとこと要約

本稿では、高エネルギー物理学におけるゼロ順列換えジェット・パートン割り当てのための自己注意ニューラルネットワークであるSaJaを紹介する。この手法は組み合わせ最適化を経由せずにジェット・パートン関係を直接予測する。SaJaは従来の尤度ベース手法（KLFitterなど）を上回り、バッチ処理により最大100倍高速な推論を実現し、完全にハドロン的トップ反トップ事象において優れた精度と効率性を示した。

ABSTRACT

In high-energy particle physics events, it can be advantageous to find the jets associated with the decays of intermediate states, for example, the three jets produced by the hadronic decay of the top quark. Typically, a goodness-of-association measure, such as a $χ^2$ related to the mass of the associated jets, is constructed, and the best jet combination is found by optimizing this measure. As this process suffers from a combinatorial explosion with the number of jets, the number of permutations is limited by using only the $n$ highest $p_T$ jets. The self-attention block is a neural network unit used for the neural machine translation problem, which can highlight relationships between any number of inputs in a single iteration without permutations. In this paper, we introduce the Self-Attention for Jet Assignment (SaJa) network. SaJa can take any number of jets for input and outputs probabilities of jet-parton assignment for all jets in a single step. We apply SaJa to find jet-parton assignments of fully-hadronic $t\bar{t}$ events to evaluate the performance. We show that SaJa achieves better performance than a likelihood-based approach.

研究の動機と目的

• 完全にハドロン的t\bar{t}崩壊のような高多重度イベントにおけるジェット・パートン割り当ての組み合わせ的爆発問題に対処すること。
• 全順列走査を回避する順列不変な手法を構築すること。
• 従来の尤度ベース手法（KLFitterなど）を上回るジェット・パートン割り当ての精度を向上させること。
• GPUハードウェア上でバッチ処理を用いることで、効率的かつスケーラブルな推論を可能とすること。
• 物理的洞察を得るための注目重み可視化によるモデルの解釈可能性を提供すること。

提案手法

• SaJaネットワークは、一度の順方向伝搬でジェット間の依存関係をモデル化する自己注意メカニズムを用い、順列の列挙の必要を排除する。
• ジェット・パートン割り当てを、b1、W1、b2、W2、およびその他のジェットの5つのクラスをもつジェット単位の多クラス分類問題として定式化する。
• モデルは学習可能な位置エンコーディングと多ヘッド自己注意ブロックを用い、トップクォーク内およびトップクォーク間のジェット相関を捉える。
• 目的関数は、ワンホットエンコードされた正例ラベルに対する交差エントロピー損失であり、対称的な注目計算によって順列不変性が保証される。
• ネットワークは、反kTアルゴリズムで再構築されたジェットを用いたモンテカルロ生成t\bar{t}事象で訓練され、性能向上のためのジェット形状特徴量も含む。
• 推論はミニバッチで実行され、GPUハードウェア上で高いスループットを実現し、さまざまなバッチサイズにおける1事象あたりの遅延が測定される。

実験結果

リサーチクエスチョン

• RQ1 自己注意ネットワークは、KLFitterのような従来の尤度ベース手法よりも優れたジェット・パートン割り当て性能を達成できるか？
• RQ2 SaJaネットワークは、部分素子シャワーモデルが異なるさまざまなイベントジェネレータ間でも高い性能を維持するか？
• RQ3 ジェット形状情報の組み込みが、割り当て精度と一般化性能にどの程度向上効果をもたらすか？
• RQ4 KLFitterのような逐次尤度フィッティング手法と比較して、SaJaの推論遅延はどのように異なるか？
• RQ5 SaJaの注目重みは、ジェット・パートントポロジーと関係性に関する解釈可能なインサイトを提供できるか？

主な発見

• SaJaは、最大12個のジェットを含む複雑な完全にハドロン的t\bar{t}事象においても、KLFitterを上回るジェット・パートン割り当ての精度を達成した。
• ジェット形状情報の組み込みにより性能が向上したが、部分素子シャワーモデルの違いにより、イベントジェネレータ間で結果にわずかな差が生じた。
• ジェット形状特徴量を含むSaJaは、形状特徴量なしのベースラインと比較して、正しく割り当てられる割合が1.5%向上した。
• バッチサイズが1であっても、SaJaの推論時間はKLFitterの逐次処理を上回り、バッチサイズ1000ではGPU上で100倍の高速化が達成された。
• 注目重みの可視化により、初期ブロックがトップクォーク内クォークジェットの相関を学習しているのに対し、後続ブロックが割り当てに関連する特徴を抽出していることが確認され、モデルの解釈可能性が裏付けられた。
• ジェット形状特徴量を除外した場合、モデルはイベントジェネレータの違いに対して頑健であり、シミュレーションモデル間での一般化能力が示された。