[论文解读] Frequentist Hypothesis Testing with Background Uncertainty

K. Cranmer|arXiv (Cornell University)|Oct 22, 2003

Particle physics theoretical and experimental studies参考文献 5被引用 15

一句话总结

本文提出了一种在背景预测不确定时，针对高能物理中假设检验的完整频数方法，采用包含多余参数和辅助测量的扩展Neyman构造。该方法引入基于条件最大化的似然比排序规则，相较于Cousins-Highland方法具有更好的误差率控制，且比泊松均值比方法更具普遍性，同时以轮廓法作为可扩展的近似。

ABSTRACT

We consider the standard Neyman-Pearson hypothesis test of a signal-plus-background hypothesis and background-only hypothesis in the presence of uncertainty on the background-only prediction. Surprisingly, this problem has not been addressed in the recent conferences on statistical techniques in high-energy physics -- although the its confidence-interval equivalent has been. We discuss the issues of power, similar tests, coverage, and ordering rules. The method presented is compared to the Cousins-Highland technique, the ratio of Poisson means, and ``profile'' method.

研究动机与目标

• 解决当背景预测不确定时，针对信号加背景与仅背景假设的频数假设检验方法缺失的问题。
• 确保在多余参数（背景不确定性）的所有取值下，第一类错误率均被控制，满足频数覆盖性。
• 开发一种在存在多余参数时仍能保持检验功效和相似性（类似 uniformly most powerful 的行为）的方法。
• 将所提方法与现有技术（如Cousins-Highland方法、泊松均值比方法及轮廓似然法）进行比较。
• 为混合贝叶斯-频数方法（如Cousins-Highland方法）提供一种哲学上一致、符合频数推断原则的替代方案。

提出的方法

• 该方法在检验统计量 $x$、辅助测量 $M$ 和多余参数 $b$（背景预测）的联合空间中执行Neyman构造。
• 对于每个 $b$ 值，在 $H_0$ 下构建一个大小为 $\alpha$ 的二维接受区域 $W_b$，确保对所有 $b$ 值第一类错误率均被控制。
• 基于似然比 $L(x|H_1,b)/L(x|H_0,b)$ 的排序规则用于定义接受区域，且在每个假设下对多余参数进行条件最大化。
• 通过修改排序规则以考虑多余参数的依赖性，确保近似相似性。
• 轮廓法用作计算高效的近似方法，仅在 $\hat{b}$（$b$ 的最大似然估计）处构建检验。
• 提出使用多余参数的蒙特卡洛采样作为基于网格构造的稳健替代方案，避免维度灾难。

实验结果

研究问题

• RQ1 如何将频数假设检验一致地扩展至背景不确定的情形，以确保在多余参数所有取值下均实现适当的I类错误率控制？
• RQ2 在存在多余参数的情况下，定义接受区域的最优排序规则是什么，同时保持检验功效和相似性？
• RQ3 所提出的完全频数方法在性能和错误率控制方面与Cousins-Highland混合方法相比如何？
• RQ4 在何种情形下，轮廓法能为完整Neyman构造提供可靠的近似？
• RQ5 能否对泊松均值比方法进行推广或改进，以适用于存在背景不确定性的发现检验？

主要发现

• 所提方法确保在所有背景多余参数 $b$ 的取值下，第一类错误率均被控制在 $\alpha$，满足频数覆盖性。
• 当 $H_0$ 为真时（例如 $b_t = 100$），使用Cousins-Highland方法错误拒绝 $H_0$ 的概率比完全频数方法高出约95%。
• 在 $H_1$ 下，当Cousins-Highland方法成功拒绝 $H_0$ 时，完全频数方法有50%的概率未能拒绝 $H_0$，表明混合方法的统计功效更低。
• 在 $x_0 = 167$、$M_0 = 100$ 的示例中，当在 $\hat{b} = 117$ 处构造时，轮廓法与完整构造结果完全一致。
• 该方法比泊松均值比技术更具普遍性，后者仅适用于辅助测量服从泊松分布的情形。
• 与依赖多余参数贝叶斯边缘化的Cousins-Highland方法相比，该方法在哲学上更符合频数推断原则。