[論文レビュー] Explainable Equivariant Neural Networks for Particle Physics: PELICAN

Alexander Bogatskiy, Timothy J. Hoffman+3 more|arXiv (Cornell University)|Jul 31, 2023

Particle physics theoretical and experimental studies被引用数 5

ひとこと要約

PELICAN は、素粒子物理学における置換対称性とローレンツ不変性を組み込んだ、置換に不変かつローレンツ不変なニューラルネットワークアーキテクチャであり、トップクォークタギング、クォーク-グルーオン識別、4運動量回帰といったジェット構造解析タスクで、競合モデルと比較して著しく少ないパラメータで最先端の性能を達成するとともに、物理に基づいたアーキテクチャ設計により高い解釈可能性を実現している。

ABSTRACT

PELICAN is a novel permutation equivariant and Lorentz invariant or covariant aggregator network designed to overcome common limitations found in architectures applied to particle physics problems. Compared to many approaches that use non-specialized architectures that neglect underlying physics principles and require very large numbers of parameters, PELICAN employs a fundamentally symmetry group-based architecture that demonstrates benefits in terms of reduced complexity, increased interpretability, and raw performance. We present a comprehensive study of the PELICAN algorithm architecture in the context of both tagging (classification) and reconstructing (regression) Lorentz-boosted top quarks, including the difficult task of specifically identifying and measuring the $W$-boson inside the dense environment of the Lorentz-boosted top-quark hadronic final state. We also extend the application of PELICAN to the tasks of identifying quark-initiated vs.~gluon-initiated jets, and a multi-class identification across five separate target categories of jets. When tested on the standard task of Lorentz-boosted top-quark tagging, PELICAN outperforms existing competitors with much lower model complexity and high sample efficiency. On the less common and more complex task of 4-momentum regression, PELICAN also outperforms hand-crafted, non-machine learning algorithms. We discuss the implications of symmetry-restricted architectures for the wider field of machine learning for physics.

研究の動機と目的

• 素粒子物理学のプロセスに内在する置換対称性およびローレンツ不変性を明示的に尊重する機械学習アーキテクチャの開発。
• 基本的な物理的対称性をネットワークアーキテクチャに埋め込むことで、ジェット構造解析タスクにおけるモデルの複雑さを低減し、解釈可能性を向上。
• ローレンツブーストされたトップクォーク崩壊における崩壊生成物（例：Wボソン）の4運動量回帰という、これまで機械学習手法で取り組まれていなかったタスクを高精度で実現。
• 特にIRC安全なバージョンにおいて、極めて少ないパラメータでトップタギングおよびクォーク-グルーオンタギングにおいて優れた性能を発揮。
• ジェット構造解析を越えて、トラック再構築やイベントレベル解析を含む、素粒子物理学の応用分野における汎用的で説明可能なフレームワークの提供。

提案手法

• PELICAN は、粒子レベルの4運動量を入力とし、粒子の置換およびローレンツ変換に対して不変性を保つ、置換に不変かつローレンツ共変な集約ネットワークを採用。
• 標準的な全結合層やアテンション機構に代わり、学習可能な対称性を尊重する集約層を用いることで、パラメータ数を削減し、解釈可能性を向上。
• IRC安全性を確保するため、集約器内でローレンツ不変なソフトドロップ多重度を重み付け要因として使用し、対象となる共線および赤外発散に対して強い耐性を付与。
• 分類（タギング）および回帰（4運動量再構築）の両タスクに対して、エンドツーエンドで学習し、タスクに応じた損失関数を適用。
• 学習された重みを物理的観測量として解釈することで、モデル意思決定の粒子レベルでの直接的分析を可能にし、解釈性を強化。
• 5種類のジェットタイプを対象とした多クラスジェット識別にも拡張され、二値分類を越えた汎用性を実証。

Figure 1: The 15 binary arrays of rank $4$ that represent the basis elements of the permutation equivariant aggregators of PELICAN.

実験結果

リサーチクエスチョン

• RQ1 置換およびローレンツ対称性を明示的に符号化したニューラルネットワークアーキテクチャは、一般用途のモデルと比較して、著しく少ないパラメータでジェット構造解析タスクにおいて優れた性能を発揮できるか？
• RQ2 対称性に配慮した設計によるIRC安全性の強制は、性能を損なうことなく、共線および赤外分岐に対してどれほど耐性を高めるか？
• RQ3 ローレンツブーストされたトップクォークジェット内に存在するWボソンの4運動量を回帰するという、極めて困難なタスクにおいて、PELICANは最先端の性能を達成できるか？
• RQ4 PELICANの学習された重みの解釈可能性は、標準的なディープラーニングモデルと比較してどの程度優れているか？また、それらは物理的観測量と直接結びつけることができるか？
• RQ5 対称性制約付きアーキテクチャは、クォーク-グルーオンタギングや多クラスジェット識別といった他の素粒子物理学タスクへ一般化可能か？

主な発見

• PELICAN は、数パラメータ（数百）でローレンツブーストされたトップクォークタギングにおいて最先端の性能を達成し、既存手法と比較してモデルの複雑さを著しく低減した。
• Wボソンの4運動量回帰において、横方向運動量で6.8%、質量で8.5%、ΔRで3.1セントラジアンの分解能を達成し、非IRC安全なベースラインと比較して10%以内の性能差であった。
• IRC安全なバージョンのPELICANは、トップタギングおよびクォーク-グルーオンタギングにおいても高い性能を維持しており、非IRC安全バージョンと比較してわずか3〜10%の性能低下にとどまった。
• 5つのカテゴリにわたる多クラスジェット識別において、PELICANは優れた汎化性能と高い性能を示し、二値分類を越えた柔軟性を実証した。
• モデルが学習した重みは、物理的観測量として直接解釈可能であり、機械学習を用いたジェット構造解析における粒子レベルの分析を、前例のないレベルで可能にした。
• IRC分岐の摂動（例：ビーム粒子が2つに分裂）の下でも、IRC安全なPELICANモデルは10〜25%の性能低下にとどまり、非IRC安全な対応モデルに比べて顕著に優れた性能を示した。

Figure 2: The PELICAN equivariant block updating square arrays.