[論文レビュー] Direct optimisation of the discovery significance when training neural networks to search for new physics in particle colliders

A. Elwood, D. Krücker|arXiv (Cornell University)|Jan 1, 2018

Particle physics theoretical and experimental studies参考文献 12被引用数 10

ひとこと要約

本論文は、素粒子物理学の探索において統計的発見の有意性を直接最大化することを目的とした、2つの新しいニューラルネットワーク損失関数を導入する。これらは s/√(s+b) および Asimov 意味性推定値に最適化されている。14 TeV の 30 fb⁻¹ の LHC のシミュレートされた SUSY 探索データで訓練した結果、特に高い系統的不確実性下で、標準的なバイナリクロスエントロピーに比べて優れた性能を示した。Asimovに基づく損失関数は 9.9 ± 1.6σ の有意性を達成した一方、標準的なクロスエントロピーは 6.4 ± 0.7σ にとどまり、選択領域における信号純度がより高かったことが要因である。

ABSTRACT

We introduce two new loss functions designed to directly optimise the statistical significance of the expected number of signal events when training neural networks to classify events as signal or background in the scenario of a search for new physics at a particle collider. The loss functions are designed to directly maximise commonly used estimates of the statistical significance, $s/\sqrt{s+b}$, and the Asimov estimate, $Z_A$. We consider their use in a toy SUSY search with 30~fb$^{-1}$ of 14~TeV data collected at the LHC. In the case that the search for the SUSY model is dominated by systematic uncertainties, it is found that the loss function based on $Z_A$ can outperform the binary cross entropy in defining an optimal search region.

研究の動機と目的

• 標準的な分類損失関数（例：バイナリクロスエントロピー）と、新物理探索の真の目的との不一致に起因する、有意性の最大化（正確性の最大化ではない）を是正すること。
• ニューラルネットワークの訓練中に、期待される発見有意性を直接最適化する損失関数を開発すること。具体的には s/√(s + b) および Asimov Z 推定値を対象とする。
• 系統的不確実性が支配的である状況において、これらの有意性最適化損失関数が性能を向上させるかどうかを評価すること。特に、挑戦的な圧縮型 SUSY モデルにおいて有効であるかを検証すること。
• 有意性の直接最適化が、標準的な訓練目的に比べて、より高い信号純度と優れた分離能力をもたらすことを示すこと。

提案手法

• s/√(s+b) および Asimov Z 推定値を直接最適化する2つの新しい損失関数 ℓs/√(s+b) と ℓAsimov を提案する。これらは信号（s）と背景（b）の予測イベント数に基づき、有意性を計算する。
• 損失関数は、ネットワーク出力スコアから推定された信号（s）と背景（b）のイベント数を用い、Asimov 公式 ZA = (s + b) / √(s + b) および s/√(s + b) を用いて有意性を計算する。
• これらの有意性に基づく損失関数を用いて、確率的勾配降下法でネットワークを訓練する。使用されたデータセットは、140万件のイベント（信号50％、背景50％）からなる、シミュレートされたストップ対生成探索の事前選択データセットである。
• 入力特徴量には、主要なジェットおよびレプトンの低レベル変数（エネルギー、横方向運動量、擬スカラー密度など）に加え、HT、ET/、mT などの高レベル変数が含まれる。
• データ漏洩を避けるために、評価に専用の 60万件のテストサンプルを別途用意する。
• 性能評価は、分類器スコアのカットをスキャンし、ポisson誤差を用いて系統的不確実性を伝搬させた上で Asimov 有意性を計算することで実施する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークの訓練中に統計的有意性を直接最適化することで、新物理探索における発見感度が向上するか？
• RQ2 Asimov 有意性推定値に基づく損失関数は、特に系統的不確実性下で、標準的なバイナリクロスエントロピーに比べて、より高い信号純度と有意性を達成するか？
• RQ3 信号と背景が運動学的に類似しているが背景が支配的である圧縮型 SUSY モデルにおいて、これらの新しい損失関数はどのように性能を発揮するか？
• RQ4 有意性最適化損失関数による性能向上は、背景の系統的不確実性の程度に依存するか？

主な発見

• 非圧縮型 SUSY モデル（900 GeV のストップ、100 GeV のLSP）では、バイナリクロスエントロピー、ℓs/√(s+b)、ℓAsimov の3つの損失関数が同程度の性能を示した。これは統計的不確実性が有意性を支配していたためである。
• 圧縮型 SUSY モデル（600 GeV のストップ、400 GeV のLSP）では、系統的不確実性が支配的であり、ℓAsimov 損失関数が 50％ の系統的不確実性下で 9.9 ± 1.6σ の有意性を達成した。これはバイナリクロスエントロピーの 6.4 ± 0.7σ より顕著に優れていた。
• ℓAsimov で最適化されたネットワークは、信号純度（s/b）を約30に達成した。これはバイナリクロスエントロピーの約6、ℓs/√(s+b) の約1に比べ、信号の強化が顕著に進んだことを示している。
• ℓs/√(s+b) 損失関数は、圧縮型モデルでは系統的不確実性を考慮していないため、信号純度がわずか約1にとどまり、性能が著しく劣化した。
• ℓAsimov 損失関数はカット選択に対してロバストであり、分類器スコアカットが約0.5以上の範囲で最適性能が維持された。これはハイパーパramータチューニングの必要性を低減する。
• ℓs/√(s+b) による事前学習を ℓAsimov 最適化の前に行うことで、訓練時間を顕著に短縮できた。これは実用的な訓練戦略を示唆している。