[論文レビュー] Dealing with Nuisance Parameters using Machine Learning in High Energy Physics: a Review

T. Dorigo, Pablo de Oliveira Castro|arXiv (Cornell University)|Jul 17, 2020

Particle physics theoretical and experimental studies参考文献 55被引用数 7

ひとこと要約

本論文は、高エネルギー物理学におけるノイズパラメータ（不正確なシミュレーションに起因する系統的不確実性）が統計的推論に与える影響を軽減するための機械学習手法をレビューする。推論に配慮した手法、例えば修正された損失関数や密度比推定を提案し、モデルの学習を下流の統計的目標と直接一致させる。これにより、標準的な分類アプローチに比べて、発見感度とパラメータ推定の正確性が顕著に向上する。

ABSTRACT

In this work we discuss the impact of nuisance parameters on the effectiveness of machine learning in high-energy physics problems, and provide a review of techniques that allow to include their effect and reduce their impact in the search for optimal selection criteria and variable transformations. The introduction of nuisance parameters complicates the supervised learning task and its correspondence with the data analysis goal, due to their contribution degrading the model performances in real data, and the necessary addition of uncertainties in the resulting statistical inference. The approaches discussed include nuisance-parameterized models, modified or adversary losses, semi-supervised learning approaches, and inference-aware techniques.

研究の動機と目的

• ノイズパラメータ（不正確なシミュレーションに起因する系統的不確実性）が高エネルギー物理学における機械学習モデルの性能と統計的推論を低下させることの課題に対処する。
• 標準的な機械学習の学習目的（例：分類精度）と真の推論目標（例：パラメータ推定や仮説検定）との不一致を特定する。
• ノイズパラメータを学習プロセスに直接組み込むことで、頑健性と統計的パワーを向上させる高度な機械学習手法をレビューおよび評価する。
• 推論に配慮したモデルが、モデル不確実性下でも従来の分類ベースの要約統計量に比べて感度と精度で優れていることを実証する。
• 損失関数の修正、半教師あり学習、フィッシャー情報量の最大化といった、ノイズに配慮した表現学習のための新興手法について包括的な概説を提供する。

提案手法

• 高エネルギー物理学における教師あり学習を密度比推定として定式化し、分類器の出力が信号とバックグラウンド事象密度の比を近似することを特徴とする。これによりベイズの定理を用いた推論が可能になる。
• ノイズパラメータを明示的に条件として含めたモデルを導入し、学習中に分類器がノイズパラメータに依存しない不変な表現を学習できるようにする。
• 修正されたまたは敵対的な損失関数を適用し、モデルがノイズパラメータに依存するのを防ぎつつ、関心のパラメータへの感度を維持する。
• 実データの制約を学習中に組み込むことで、歪みのあるシミュレーションに依存するのを減らす半教師あり学習を活用する。
• Inferno や Neos に見られるような、統計的パワー（例：CLs上限）やフィッシャー情報量を最適化する推論に配慮した学習目的を実装し、学習を下流の推論目標と直接一致させる。
• 微分可能な変換と勾配ベース最適化（例：固定点微分）を活用し、プロファイル尤度の勾配を計算することで、ノイズ不確実性下での要約統計量のエンドツーエンド最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 シミュレートされたデータにおけるノイズパラメータは、高エネルギー物理学における標準的な機械学習モデルの性能をどの程度劣化させるか？
• RQ2 修正された損失関数は、学習された要約統計量の系統的不確実性への感受性をどの程度低減できるか？
• RQ3 CLs やフィッシャー情報量を最適化するような推論に配慮した学習目的は、ノイズパラメータが存在する状況で、標準的な分類ベースの特徴学習を上回る性能を発揮できるか？
• RQ4 密度比推定やスコアベース要約統計量は、モデル不確実性下でも統計的パワーをどの程度保持できるか？
• RQ5 既存の機械学習フレームワーク（例：ニューラルネットワーク）を、原理的かつ一貫性を持ってノイズパラメータを扱えるように拡張する際の実用的制限とトレードオフは何か？

主な発見

• CLs やフィッシャー情報量を最適化する推論に配慮した機械学習手法は、統計的パワーと新しい物理的信号への感度において、標準的な分類ベースの要約統計量を顕著に上回る。
• Inferno や Neos といった手法は、期待される上限（CLs）を直接最適化することで、従来のモデルに比べて優れた性能を発揮し、系統的不確実性の影響を低減する。
• ニューラルネットワークによる密度比推定は、情報量が多く、ノイズパラメータに対して頑健な要約統計量を構築するための強固なフレームワークを提供する。
• ネットワーク出力の共分散行列の行列式を損失関数に組み込む手法は、不確実性下での訓練の安定化と一般化性能の向上に寄与する。
• Neos における固定点微分の使用により、ヘッシアン近似を用いずともプロファイル尤度を直接最適化可能となり、不確実性評価の正確性が向上する。
• 単純な修正、例えば損失関数に系統的不確実性の影響を直接組み込むことですら、ヒッグス粒子のベンチマーク拡張の事例で示されるように、有意義な有意水準の向上と頑健性の向上が得られる。