[論文レビュー] Meta-learning and data augmentation for mass-generalised jet taggers

Matthew J. Dolan, Ayodele Ore|arXiv (Cornell University)|Nov 11, 2021

Particle physics theoretical and experimental studies参考文献 2被引用数 7

ひとこと要約

本論文は、高エネルギー物理学における質量一般化型ジェットタギングにおけるメタラーニングとデータ拡張の有効性を調査し、単純なズームに基づくデータ拡張が、ジェット質量の範囲にわたるほぼ最適な一般化を達成することを示している。メタラーニング手法は僅かな改善しかもたらさない。研究では、効果的な一般化が本質的に質量の非一貫性を低減し、共鳴探索におけるバックグラウンドの耐性を向上させることを示している。

ABSTRACT

Deep neural networks trained for jet tagging are typically specific to a narrow range of transverse momenta or jet masses. Given the large phase space that the LHC is able to probe, the potential benefit of classifiers that are effective over a wide range of masses or transverse momenta is significant. In this work we benchmark the performance of a number of methods for achieving accurate classification at masses distant from those used in training, with a focus on algorithms that leverage meta-learning. We study the discrimination of jets from boosted $Z'$ bosons against a QCD background. We find that a simple data augmentation strategy that standardises the angular scale of jets with different masses is sufficient to produce strong generalisation. The meta-learning algorithms provide only a small improvement in generalisation when combined with this augmentation. We also comment on the relationship between mass generalisation and mass decorrelation, demonstrating that those models which generalise better than the baseline also sculpt the background to a smaller degree.

研究の動機と目的

• 訓練データが高質量領域で限られている場合に、広範なジェット質量にわたる一般化を達成できるジェットタッカーのトレーニングに直面する課題に対処すること。
• メタラーニングアルゴリズムが、標準的なデータ拡張と正則化を上回る一般化性能を向上させるかどうかを評価すること。
• モデルの一般化と質量の非一貫性の関係、特にバックグラウンドの彫刻効果を低減する点での関係を調査すること。
• 質量一般化型ジェットタギング設定において、データ拡張（ズーム、プランニング）、L1正則化、メタラーニング（MetaReg、Feature-Critic）の有効性をベンチマークすること。

提案手法

• 本研究では、特定のソース質量におけるブーストされたZ′崩壊からのシミュレーテッドジェットを用いてトレーニングする、完全結合型フィードフォワードネットワーク（PFN）をジェットタギングのベースモデルとして使用する。
• ズームを用いたデータ拡張により、異なる質量間でジェットの角度スケールを正規化し、質量依存の幾何的歪みに対して不変となるようにモデルを設計する。
• プランニングを用いて、質量間でジェットの運動量分布を標準化し、入力特徴量におけるスケールバイアスを低減する。
• 一般化を未学習の質量ドメインに最適化するために、メタラーニングアルゴリズム（MetaReg、Feature-Critic）を適用する。
• L1重み減衰を正則化子として用い、明示的な質量に依存する前処理なしに、スパースで一般化可能な特徴学習を促進する。
• 性能は、150–600 GeVの範囲のターゲット質量で評価され、一般化はAUCと予測の相関性（ジェット質量との相関）を用いて測定される。

実験結果

リサーチクエスチョン

• RQ1 標準的なデータ拡張と正則化に比べ、メタラーニングアルゴリズムが、広く離れたジェット質量間でジェットタッカーの一般化を顕著に向上させられるか？
• RQ2 ズームに基づくデータ拡張のみで、ほぼ最適な一般化が達成可能であり、追加のメタラーニング手法が不要になるか？
• RQ3 効果的な一般化が、ジェットタッキングモデルにおける質量の非一貫性とバックグラウンドの彫刻効果をどの程度低減するか？
• RQ4 L1正則化は、データ拡張やメタラーニングに比べ、質量に依存しない意思決定境界を促進する点でどのように比較されるか？
• RQ5 一般化性能とモデル予測とジェット質量との相関性の低減の間に直接的な関連があるか？

主な発見

• ズームに基づくデータ拡張のみで、ジェット質量にわたるほぼ最適な一般化が達成され、ベースラインモデルを上回り、質量の非一貫性も効果的に低減された。
• ズームと組み合わせた場合、メタラーニングアルゴリズム（MetaReg、Feature-Critic）は僅かな改善しかもたらさないため、この設定では追加価値が限定的であることが示された。
• ズームがなければ、L1正則化は、明示的な質量に依存する設計がなくとも、ベースラインより優れた一般化と低い質量相関を達成した。
• 特にL1正則化付きPFNとズーム処理済みモデルが最も一般化可能なモデルであり、それらはジェット質量との相関が最低であった。これは、バックグラウンドの非一貫性が効果的に低減されていることを示している。
• 質量プランニングは、離れた訓練質量間での一般化に最も効果的であったが、全体の性能ではズームにその利点が吸収された。
• ズーム処理が施されたすべてのモデルは、顕著に質量依存性が低減されており、前処理に依存する不変性が一般化の主要因であることを確認した。