[論文レビュー] Testing Hypotheses in Particle Physics: Plots of $p_{0}$ Versus $p_{1}$

L. Demortier, L. Lyons|arXiv (Cornell University)|Aug 26, 2014

Particle physics theoretical and experimental studies参考文献 8被引用数 3

ひとこと要約

本稿は、粒子物理学における仮説検定を理解するための強力な図的ツールとして、$p_0$ 対 $p_1$ プロットを導入し、分析する。ここで $p_0$ と $p_1$ は、帰無仮説 ($H_0$) と対立仮説 ($H_1$) を検定するためのp値である。このプロットは、$CL_s$ 基準、感度（Punzi定義）、尤度比、誤った証拠、およびジェフリー＝リンデレーのパラドックスのようなパラドックスを明確にし、多チャンネル探索における実用的応用を含めた頻度主義的およびベイズ的解釈を提供する。

ABSTRACT

For situations where we are trying to decide which of two hypotheses $H_{0}$ and $H_{1}$ provides a better description of some data, we discuss the usefulness of plots of $p_{0}$ versus $p_{1}$, where $p_{i}$ is the $p$-value for testing $H_{i}$. They provide an interesting way of understanding the difference between the standard way of excluding $H_{1}$ and the $CL_{s}$ approach; the Punzi definition of sensitivity; the relationship between $p$-values and likelihood ratios; and the probability of observing misleading evidence. They also help illustrate the Law of the Iterated Logarithm and the Jeffreys-Lindley paradox.

研究の動機と目的

• 新しい物理の探索における $p$-値と尤度比の相互作用を理解するための視覚的かつ分析的フレームワークを提供すること。
• $p$-値と尤度比の証拠評価における違いを、図的表現によって明確にすること。
• Punzi定義に基づく感度の概念を $p_0$-$p_1$ プロットの文脈で図示すること。
• 誤った証拠の観測確率とジェフリー＝リンデレーのパラドックスを、これらのプロットを用いて検討すること。
• ネイズンパラメータが存在する状況での $p_0$-$p_1$ プロットの構築に向けた実用的解決策を提示すること。

提案手法

• $H_0$ のための $p_0$（p値）と $H_1$ のための $p_1$（p値）の2次元プロットを構築し、両方の仮説に対する証拠を同時に可視化する。
• 尤度比を検定統計量 $T$ として用い、$(p_0, p_1)$ 平面上の $H_0$ と $H_1$ の棄却・非棄却領域を定義する。
• $H_0$ と $H_1$ の下での $p_0$ と $p_1$ の同時確率分布を導出し、誤差率と統計的パワーを計算する。
• ネイズンパラメータが存在する場合に、頻度主義的誤差制御を保持するため、パラメトリックブートストラップ手法を用いて $p_0$ と $p_1$ を推定する。
• 適切な事前分布を用いたベイズ的マージナル化により、ネイズンパラメータを統合し、事前予測p値 $p_i^*$ とベイズ因子を定義する。これは頻度主義的p値の代替手段として用いられる。
• 大標本近似において、複数の探索チャンネルにおける証拠を要約するため、$p_0$-$p_1$ 図にガウス型尤度比の等高線をプロットする。

実験結果

リサーチクエスチョン

• RQ1 $p_0$-$p_1$ プロットは、新しい物理の仮説を除外するための $CL_s$ 基準をどのように明確にするか？
• RQ2 これらのプロットは、証拠評価において $p$-値と尤度比の違いをどのように図示するか？
• RQ3 $p_0$-$p_1$ プロットは、仮説検定において誤った証拠を観測する確率をどのように可視化できるか？
• RQ4 $p_0$-$p_1$ プロットは、ジェフリー＝リンデレーのパラドックスをどのように解消または可視化するか？
• RQ5 ネイズンパラメータが存在する場合、$p_0$-$p_1$ プロットを構築するための手法は何か？

主な発見

• $p_0$-$p_1$ プロットは、$H_0$ と $H_1$ の両方に対する証拠の包括的視覚的要約を提供し、発見（$H_1$ が棄却される領域）、除外（$H_1$ が棄却される領域）、非意思決定領域を明確に区別する。
• $H_1$ を除外するための $CL_s$ 基準は、$p_0$ が小さく $p_1$ が大きい領域に対応し、これは $H_0$ の棄却に高い有意水準を要することを反映している。
• Punzi定義による感度は、$H_1$ の真の分布の下で $H_1$ が棄却される領域として、$p_0$-$p_1$ 平面上の面積として自然に図示され、高い統計的パワーに対応する。
• 誤った証拠（$p_0$ が小さく、$p_1$ が大きい）を観測する確率は、$H_0$ の下での $p_0$-$p_1$ 平面上の領域として定量化され、誤った発見のリスクを示している。
• ジェフリー＝リンデレーのパラドックスは、$p_0$-$p_1$ プロットで明確に図示され、特に大標本において、$p$-値と尤度比が矛盾する結論を導くことがある。
• ネイズンパラメータが存在する場合、ベイズ的マージナル化またはパラメトリックブートストラップ法により $p_0$-$p_1$ プロットを構築できる。前者は計算が単純であるが、後者は頻度主義的誤差特性を保持する。