[论文解读] Measures of Significance in HEP and Astrophysics

J. Linnemann|arXiv (Cornell University)|Dec 9, 2003

Particle physics theoretical and experimental studies被引用 12

一句话总结

本文批判性地比较了高能物理（HEP）和天体物理学中使用的统计显著性度量，评估了p值、Z分数、似然比以及均匀最功效无偏（UMPU）二项检验等方法。研究发现，二项检验在背景不确定性占主导时，对低计数数据提供了最准确且保守的显著性估计，并建议将其作为背景不确定性主导情况下的黄金标准。

ABSTRACT

I compare and discuss critically several measures of statistical significance in common use in astrophysics and in high energy physics. I also exhibit some relationships among them.

研究动机与目标

• 评估并比较高能物理（HEP）和高能伽马射线天体物理学（GRA）中广泛使用的统计显著性度量。
• 识别常见Z值计算中的方法论不一致之处，特别是那些在原假设下过度估计方差的情况。
• 通过蒙特卡洛模拟和理论分析，评估各种显著性检验的可靠性。
• 确定在存在背景不确定性的计数实验中，是否存在一种最优的显著性评估方法。
• 建议采用均匀最功效无偏（UMPU）二项检验作为保守且准确的显著性评估首选方法。

提出的方法

• 比较多种Z值公式，包括信噪比（Z_sb）、泊松p值（Z_P）、似然比（Z_L）以及UMPU二项检验（Z_Bi）。
• 推导方差估计量，如 V_5′ = α(1+α)N_off 和 V_9 = α(N_on + N_off)，以提高与原假设的一致性。
• 应用似然比检验并结合威尔克斯定理，证明Z_L的渐近正态性。
• 使用二项比例检验，结合条件概率 p_Bi = B(w, x, 1+y)/B(x, 1+y)，其中 w = α/(1+α)，在原假设下评估显著性。
• 通过蒙特卡洛模拟测试每种方法与经验p值的一致性，通过生成泊松分布的源上和源外计数。
• 使用基于区域的p值评估显著性：p^MC(x₀,y₀) = ∫_{Z>Z₀} p(x,y) dx dy，对显著性更强于观测值的区域进行积分。

实验结果

研究问题

• RQ1 哪种统计显著性方法最准确地反映在仅存在背景的原假设下观测到信号的真实概率？
• RQ2 常见Z值近似方法（如 Z_sb、Z_P、Z_L）相对于UMPU二项检验在偏差和一致性方面表现如何？
• RQ3 不同Z值定义在多大程度上导致显著性估计的分歧，特别是在低计数数据中？
• RQ4 蒙特卡洛模拟如何验证每种显著性方法的性能，它们揭示了Z_Bi的可靠性如何？
• RQ5 尽管二项检验具有条件性质且依赖于固定总样本数，为何其表现仍优于其他方法？

主要发现

• UMPU二项检验（Z_Bi）产生的显著性估计最准确且最保守，在 Z > 3 时，其与蒙特卡洛p值的偏差小于3%（以Z尺度衡量）。
• 像 Z_sb 和 Z_P 这类忽略背景不确定性的方法，系统性地低估显著性，因此在正式声明中不可靠。
• 似然比 Z_L 在渐近情况下表现良好，但在小样本量下，其准确性低于 Z_Bi，尤其当 min(N_on, N_off) < 20 时。
• 等Z值轮廓图显示，不同方法对“更像信号的区域”定义不同，除非定义唯一排序，否则会导致不一致的p值。
• 在大样本量下，所有Z值因中心极限定理而趋同，但在低计数情况下，Z_Bi 仍是最可靠且偏差最小的方法。
• 尽管在低Z值时略有保守，但Z_Bi仍被推荐作为参考标准，因其与蒙特卡洛校准p值的偏差最小，并在原假设下保持UMPU性质。