[論文レビュー] Symmetries, Safety, and Self-Supervision

Barry M. Dillon, G. Kasieczka+4 more|arXiv (Cornell University)|Aug 9, 2021

Medical Imaging Techniques and Applications参考文献 52被引用数 16

ひとこと要約

この論文は、置換同変なトランスフォーマー符号化器を用いて、ジェット構成粒子を対称性不変表現にマップする自己教師付き対照的学習フレームワーク、JetCLRを紹介する。この手法は、トップタギングタスクにおいて、エネルギーフローポリノミアル（EFPs）などの従来の観測量よりも優れた性能を発揮し、線形分類器テストではAUC 0.980（JetCLR表現）で、EFPs（d ≤ 7）の0.972を上回る。

ABSTRACT

Collider searches face the challenge of defining a representation of high-dimensional data such that physical symmetries are manifest, the discriminating features are retained, and the choice of representation is new-physics agnostic. We introduce JetCLR to solve the mapping from low-level data to optimized observables though self-supervised contrastive learning. As an example, we construct a data representation for top and QCD jets using a permutation-invariant transformer-encoder network and visualize its symmetry properties. We compare the JetCLR representation with alternative representations using linear classifier tests and find it to work quite well.

研究の動機と目的

• ローレンツ不変性、置換対称性、およびソフト/コリネアント安全性といった物理的対称性に対して不変である、新しいジェットデータの対称性に配慮した表現を開発すること。
• 手作業で設計された観測量に代わって、自己教師付きで最適化された学習済み高次元表現を用いることで、教師なしまたは半教師ありのジェット物理学解析を可能にすること。
• 標準的な機械学習評価プロトコル、特に線形分類器テストを用いて、学習済み表現の識別力の強さをベンチマークすること。
• 表現が物理的識別特徴を保持しつつ、特定の新しい物理学モデルやラベル付きデータに依存しないことを示すこと。

提案手法

• ジェット構成粒子（pt、eta、phiで定義）を、低次元の対称性不変表現空間にマップするトランスフォーマー符号化ネットワークを採用する。
• 同じジェットの増幅ビューである正例ペアを表現空間で近づける一方で、負例ペアを遠ざけるように、対照的損失関数を用いてトレーニングする。
• 主な対称性はデータ増幅によって強制される：回転、平行移動、置換不変性、およびエネルギー再スケーリングによるソフト/コリネアント安全性。
• 表現空間はこれらの対称性に対して不変であると同時に、トップジェットとQCDジェットの間の識別力も保持するように最適化される。
• 10分割交差検証を用いて、バイナリクロスエントロピー、SVM、LDAなどの線形分類器を用いたテストにより、表現空間内の線形分離可能性を評価する。
• 真のラベルなしでトレーニングされるため、異常検知や一般化されたモデル探索に適した自己教師付き手法である。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き対照的学習フレームワークは、ローレンツ不変性や置換対称性といった基本的物理的対称性に対して不変なジェット表現を学習できるか？
• RQ2 トップタギングタスクにおいて、JetCLR表現の識別力は、エネルギーフローポリノミアル（EFPs）といった確立された観測量と比べてどの程度優れているか？
• RQ3 表現空間は、トップクォーク崩壊生成物の幾何的構造をどの程度保持しつつ、QCDジェットの活動性を抑制するか？
• RQ4 トレーニング時にラベル付きデータに依存せずに、学習済み表現が有効な線形分類を可能にするか？
• RQ5 異なる線形分類器アーキテクチャーや損失関数に対して、表現はどの程度頑健か？

主な発見

• バイナリクロスエントロピー損失を用いた線形分類器テストにおいて、JetCLRはAUC 0.980を達成し、EFPs（d ≤ 7）の0.972を上回る。
• SVM（ハッチング損失）ではAUC 0.977、線形判別分析（LDA）ではAUC 0.977を示し、両者ともEFPsを上回る。
• 可視化とアブレーションによる検証により、表現空間はジェット構成粒子の置換、回転、平行移動、およびソフト/コリネアント安全性の増幅に対して不変であることが確認された。
• 線形分類器テストの結果、EFPsですら理論的に計算可能でインフラレッド安全であるにもかかわらず、JetCLR表現はトップジェットとQCDジェットの間の線形分離性が優れていることが示された。
• EFPsとの性能差は、複数の分類器タイプにわたり一貫しており、下流の線形プローブに対する表現の頑健性が裏付けられた。
• 線形判別分析におけるガウス性の強い仮定にもかかわらず、JetCLRではAUC 0.977を達成しており、表現が意味のある線形分離可能な構造を捉えていることが示唆された。