[論文レビュー] A model independent safeguard for unbinned Likelihood

N. Priel, L. Rauch+3 more|arXiv (Cornell University)|Oct 9, 2016

Particle physics theoretical and experimental studies参考文献 19被引用数 8

ひとこと要約

この論文は、高エネルギー物理学およびアストロパラティクル物理学における非バッチドプロファイル尤度比検定のモデルに依存しないセーフティーバッファを提案する。背景形状の誤モデリングを補正するため、カーネル密度推定（KDE）に基づくペナルティ項を用いる。この手法により漸近的性質が回復され、誤発見率が低下し、不確実性に伴い感度が自然に低下するが、キャリブレーションデータが増加するにつれて真のモデル性能に近づく。

ABSTRACT

We present a universal method to include residual un-modeled background shape uncertainties in likelihood based statistical tests for high energy physics and astroparticle physics. This approach provides a simple and natural protection against mismodeling, thus lowering the chances of a false discovery or of an over constrained confidence interval, and allows a natural transition to unbinned space. Unbinned likelihood allows optimal usage of information for the data and the models, and enhances the sensitivity. We show that the asymptotic behavior of the test statistic can be regained in cases where the model fails to describe the true background behavior, and present 1D and 2D case studies for model-driven and data-driven background models. The resulting penalty on sensitivities follows the actual discrepancy between the data and the models, and is asymptotically reduced to zero with increasing knowledge.

研究の動機と目的

• 高エネルギー物理学およびアストロパラティクル物理学における背景モデリングの不正確さが引き起こす誤発見のリスクと過剰に制約された信頼区間のリスクに対処すること。
• 背景モデルが真の背景形状を捉えきれない場合に、プロファイル尤度比検定の漸近的性質を回復すること。
• パラメトリックおよびノンパラメトリックな背景モデルの両方で動作する普遍的でモデルに依存しない手法を提供すること、特に限られたまたは信頼性の低いキャリブレーションデータがある状況を想定すること。
• 真の背景に関する事前知識が不要な状態で、モデルの不確実性を自然にペナルティ化することで、非バッチド尤度フレームワークにおける頑健な統計的推論を可能にすること。

提案手法

• 本手法は、データと背景モデルとの乖離をカーネル密度推定（KDE）を用いて推定したペナルティ項を非バッチドプロファイル尤度比検定に導入する。
• 2段階の手続きを用いる：まず、キャリブレーションデータからノンパラメトリックなKDEを構築して背景をモデル化する。次に、KDEと仮定されたモデルとの間のカルバック・ライブラー発散に比例するペナルティを尤度比に補正する。
• 補正は、モデルが誤って指定されていても、漸近的に期待されるカイ二乗分布に再び近づくように変更された検定統計量を介して行われる。
• 非バッチド拡張尤度関数を用いて実装され、最適な情報使用と感度を保持する。
• ペナルティ項はキャリブレーションサンプルサイズが増加するにつれて動的に減少し、感度が真のモデルに漸近的に近づくことを保証する。
• パラメトリックおよびノンパラメトリックな背景モデルを用いた1次元および2次元のケースにおいて、本手法の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 背景形状の誤モデリングは、非バッチド解析におけるプロファイル尤度比検定の漸近的挙動にどのように影響を与えるか？
• RQ2 モデルに依存しない補正が、背景モデルが不正確である場合に検定統計量の漸近的性質を回復できるか？
• RQ3 異なるキャリブレーションサンプルサイズにおいて、本手法の誤発見率と発見感度はどのように変化するか？
• RQ4 多次元背景モデリングにおいて、次元数の増加が補正効果に与える影響は何か？
• RQ5 真の背景モデルを用いた場合と比較して、本手法の感度および除外限界はどのように評価できるか？

主な発見

• 本手法は、背景モデルが真の背景形状と著しく乖離している場合でも、プロファイル尤度比検定の漸近的分布を成功裏に回復する。
• 1次元の場合、小規模なキャリブレーションサンプルでも3σでの誤発見率がほぼゼロにまで低下する。
• 2次元において100個の背景事象のうち15個の期待信号事象がある場合、キャリブレーションサイズが大きいと、真のモデルに近い発見可能性を維持するが、サンプルサイズが小さい場合には自然な感度の低下を示す。
• ペナルティ項はKDEに基づくモデルと真の背景との乖離に比例しており、感度の低下が実際の不確実性を反映する。
• キャリブレーションサンプルサイズが増加するにつれて、補正済み手法の感度は真のモデルの感度に漸近的に近づく。収束性と頑健性が示された。
• 背景モデルが不確実性を多く持つ、または限られたデータに基づいて構築されている場合でも、本手法は過剰に自信を持った除外限界や誤発見を効果的に防止する。