[論文レビュー] A Lorentz-Equivariant Transformer for All of the LHC

Johann Brehmer, Víctor Bresó+5 more|arXiv (Cornell University)|Nov 1, 2024

Particle Accelerators and Free-Electron Lasers被引用数 13

ひとこと要約

ローレンツ同変幾何代数トランスフォーマー（L-GATr）は、時空の multivectors を用いて、LHCにおける振幅回帰、ジェットタグ付け、イベント生成で最先端の成果を達成し、ローレンツ対称性の破れを制御可能にする。

ABSTRACT

We show that the Lorentz-Equivariant Geometric Algebra Transformer (L-GATr) yields state-of-the-art performance for a wide range of machine learning tasks at the Large Hadron Collider. L-GATr represents data in a geometric algebra over space-time and is equivariant under Lorentz transformations. The underlying architecture is a versatile and scalable transformer, which is able to break symmetries if needed. We demonstrate the power of L-GATr for amplitude regression and jet classification, and then benchmark it as the first Lorentz-equivariant generative network. For all three LHC tasks, we find significant improvements over previous architectures.

研究の動機と目的

• ローレンス対称性を活用して、相対論的LHCデータの学習を向上させる。
• 幾何代数に基づくローレンツ同変トランスフォーマーを開発し、回帰・分類・生成タスクに適用する。
• 複数のLHCアプリケーションにおいて、L-GATrを既存アーキテクチャと比較評価する。
• 参照入力を介した対称性破れの評価と、その性能への影響を調査する。

提案手法

• 時空データを G1,3 の時空幾何代数の multivector として表現する。
• multivectors に作用する Linear、Attention、LayerNorm、Activation からなるローレンツ同変トランスフォーマー層を構築する。
• 各ローレンツ等級がローレンツ群の不完結表現のサブ表現として変換されるよう等級別処理を用いる。
• 保存される対称性サブグループを調整するために、参照 multivectors を導入して部分的な対称性破れを可能にする。
• 振幅回帰、ジェットタグ付け、イベント生成において、L-GATrをベースライン（MLP、標準トランスフォーマー、GAP、DSI、CGENN）と比較する。
• 粒子数の増加に伴うスケーリング特性と効率を、最適化されたアテンションと FlashAttention を用いて、速度とメモリの観点から示す。

Figure 1: Scaling behavior of L-GATr, a standard transformer, and the equivariant graph network CGENN. The left panel was already discussed in Ref. [ 33 ] .

実験結果

リサーチクエスチョン

• RQ1 相対論的LHCの位相空間に対して、ローレンツ同変トランスフォーマーは正確でスケーラブルな表現を提供できるか？
• RQ2 振幅回帰、ジェットタグ付け（多クラスタグ付けを含む）、およびイベント生成において、L-GATrは最先端手法と比較してどのように性能を示すか？
• RQ3 参照入力を介した対称性破れが、モデルの性能および実際の衝突データへの適用性に与える影響は何か？
• RQ4 粒子多重度の増加に対してL-GATrはどのようにスケールし、標準的なトランスフォーマーおよびグラフネットワークアーキテクチャとどのように関係するか？

主な発見

• L-GATrは、LHCタスクにおける振幅回帰、ジェットタグ付け、イベント生成において、従来のアーキテクチャより顕著な改善を提供する。
• 粒子数の増加に対してモデルは有利にスケールし、高多重度領域で標準トランスフォーマーと同等の効率を維持する。
• 参照 multivectors および追加の運動学入力による対称性破れは、ジェットタグ付けの場面で性能を大幅に向上させる。
• 大規模多クラスジェットデータセットでの事前学習は、下流の二クラスおよび多クラスタグ付けタスクの性能を高める。
• トップタグ付けおよび JetClass のベンチマークで、主要な等変ベースラインに対して競争力のある、または優れた性能を示す。
• 本アプローチは、相対論的衝突型物理における回帰、分類、生成モデル化のための多用途でスケーラブルなフレームワークを示す。

Figure 2: Left: prediction error from L-GATr and all baselines for $Z+ng$ amplitudes with increasing particle multiplicity. All networks are trained on $4\times 10^{5}$ points. Right: prediction error as a function of the training dataset size. Error bands are based on the mean and standard deviatio