[論文レビュー] Frequentist Hypothesis Testing with Background Uncertainty

K. Cranmer|arXiv (Cornell University)|Oct 22, 2003

Particle physics theoretical and experimental studies参考文献 5被引用数 15

ひとこと要約

本稿では、バックグラウンド予測の不確実性がある高エネルギー物理学における仮説検定に対して、ネイマン構成にノイズイズパラメータと補助測定値を組み込んだ完全な頻度主義的手法を提示する。尤度比順序付けルールに条件付き最大化を適用し、Cousins-Highland法よりも良好な誤り率制御と、Poisson平均比アプローチよりも包括的な一般性を達成する。プロファイル法はスケーラブルな近似として機能する。

ABSTRACT

We consider the standard Neyman-Pearson hypothesis test of a signal-plus-background hypothesis and background-only hypothesis in the presence of uncertainty on the background-only prediction. Surprisingly, this problem has not been addressed in the recent conferences on statistical techniques in high-energy physics -- although the its confidence-interval equivalent has been. We discuss the issues of power, similar tests, coverage, and ordering rules. The method presented is compared to the Cousins-Highland technique, the ratio of Poisson means, and ``profile'' method.

研究の動機と目的

• バックグラウンド予測の不確実性がある状況における、信号＋バックグラウンド対バックグラウンドのみの仮説検定のための頻度主義的手法の欠如を解決すること。
• ノイズイズパラメータ（バックグラウンド不確実性）のすべての値において、第一種誤り率が有界であることを保証し、頻度主義的カバレッジを満たすこと。
• ノイズイズパラメータが存在する中でも、パワーと類似性（一様に最も有力な類似行動）を維持する方法を開発すること。
• 提案手法をCousins-Highland法、Poisson平均比、プロファイル尤度といった既存手法と比較すること。
• Cousins-Highland法のようなハイブリッドベイジアン・頻度主義的手法に代わる、哲学的に整合的で頻度主義に準拠した代替手法を提供すること。

提案手法

• 本手法は、検定統計量 $x$、補助測定値 $M$、およびノイズイズパラメータ $b$（バックグラウンド予測）の直積空間上でネイマン構成を実行する。
• 各 $b$ の値に対して、$H_0$ の下でサイズ $\alpha$ の二重領域 $W_b$ を構築し、すべての $b$ に対して第一種誤り率が有界であることを保証する。
• 尤度比 $L(x|H_1,b)/L(x|H_0,b)$ を用いた順序付けルールを用いて受容領域を定義し、各仮説の下でノイズイズパラメータを条件付きで最大化する。
• ノイズイズパラメータの依存性を考慮するために順序付けルールを修正することで、近似的類似性を確保する。
• 計算効率の高い近似としてプロファイル法を用い、$b$ の最尤推定値 $\hat{b}$ のみでテストを構築する。
• グリッドベースの構築を回避し、次元の呪いを避けるために、ノイズイズパラメータのモンテカルロサンプリングを、グリッド構築の代替として提案する。

実験結果

リサーチクエスチョン

• RQ1 バックグラウンド不確実性がある状況において、頻度主義的仮説検定を一貫して拡張する方法は何か？ これにより、ノイズイズパラメータのすべての値において適切な第一種誤り率制御が保証される。
• RQ2 ノイズイズパラメータが存在する状況で、パワーと類似性を維持しつつ、受容領域を定義する最適な順序付けルールは何か？
• RQ3 提案された完全な頻度主義的手法は、Cousins-Highlandハイブリッド法と比較して、性能および誤り率制御においてどのように異なるか？
• RQ4 プロファイル法は、完全なネイマン構成に対して、どのような状況で信頼できる近似を提供するか？
• RQ5 Poisson分布に従う補助測定値に限定されるPoisson平均比法は、バックグラウンド不確実性を伴う発見検定において一般化または改善可能か？

主な発見

• 提案手法は、バックグラウンドノイズイズパラメータ $b$ のすべての値において、第一種誤り率が $\alpha$ に有界であることを保証し、頻度主義的カバレッジを満たす。
• $H_0$ が真であるとき（例：$b_t = 100$）、Cousins-Highland法を用いた場合、$H_0$ を誤って棄却する確率は、完全な頻度主義的手法に比べて約95%高い。
• $H_1$ の下で、Cousins-Highland法が成功するのに対し、完全な頻度主義的手法では $H_0$ を棄却できない確率が50%に達する。これは、ハイブリッド法がパワーに劣ることを示している。
• 例 $x_0 = 167$, $M_0 = 100$ において、$\hat{b} = 117$ で構築した場合、プロファイル法は完全な構築と同一の結果を生じる。
• 本手法は、補助測定値がPoisson分布に従うに制限されるPoisson平均比技術よりも包括的である。
• 本手法は、ノイズイズパラメータのベイジアン周辺化に依存するCousins-Highland法よりも、頻度主義的推論の哲学的整合性に優れている。