[论文解读] Coverage Of Confidence Intervals For Poisson Statistics In Presence Of Systematic Uncertainties

Jan Conrad, O. Botner+2 more|ArXiv.org|Jun 14, 2002

Scientific Measurement and Uncertainty Evaluation被引用 6

一句话总结

本文研究了在存在系统不确定性时，对泊松分布数据的置信区间覆盖特性，扩展了Cousins & Highland方法以涵盖各种不确定类型和形状。研究发现，Feldman & Cousins区间因泊松分布的离散性而过度覆盖，而Roe & Woodroofe区间在信号期望值较低时则出现覆盖不足；系统不确定性通常会增加过度覆盖，尤其是对于高斯分布和对数正态分布，且覆盖特性在很大程度上取决于测试中使用的集合定义。

ABSTRACT

In this note we consider coverage of confidence intervals calculated with and without systematic uncertainties. These calculations follow the prescription originally proposed by Cousins & Highland but here extended to account for different shapes, size and types of systematic uncertainties. Also two different ordering schemes are considered: the Feldman & Cousins ordering and its variant where conditioning on the background expectation is applied as proposed by Roe & Woodroofe. Without uncertainties Feldman & Cousins method over-covers as expected because of the discreteness of the Poisson distribution. For Roe & Woodroofe's method we find under-coverage for low signal expectations. When including uncertainties it becomes important to define the ensemble for which the coverage is determined. We consider two different ensembles, where in ensemble A all nuisance parameters are fixed and in ensemble B the nuisance parameters are varied according to their uncertainties. We also discuss the subtleties of the realization of the ensemble with varying systematic uncertainties.

研究动机与目标

• 评估在高能物理实验中常见的情况下，存在系统不确定性时，泊松分布数据的置信区间覆盖性能。
• 扩展Cousins & Highland的频率学方法，以考虑不同形状、大小和类型的系统不确定性，包括相关性。
• 在不同系统不确定性条件下，比较两种排序方案（Feldman & Cousins与Roe & Woodroofe）的性能。
• 研究集合定义（相同实验与具有不同干扰参数的相似实验）对覆盖特性的影响。
• 阐明在蒙特卡洛集合中实现细节，其中干扰参数（如信号效率）在每次实验中随机变化的复杂性。

提出的方法

• 通过整合描述信号和背景效率以及背景水平中系统不确定性的概率密度函数（PDFs），扩展Cousins & Highland方法。
• 使用POLE程序进行蒙特卡洛积分，以计算置信带，其中纳入了高斯、均匀和对数正态PDF以描述不确定性。
• 应用两种排序方案：Feldman & Cousins（FC）和Roe & Woodroofe（RW），并分别在是否对背景期望值进行条件处理的情况下进行测试。
• 使用两种集合进行覆盖计算：(A) 固定干扰参数（相同实验），(B) 干扰参数按其不确定性分布变化（相似实验）。
• 通过在每次蒙特卡洛试验中随机抽样真实信号效率，实现集合(B)，以确保区间构建与覆盖测试之间的一致性。
• 将覆盖性量化为在多个信号期望值和不确定性假设下，真实信号值落在计算出的置信区间内的试验比例。

实验结果

研究问题

• RQ1 系统不确定性的引入如何影响泊松分布数据中置信区间的覆盖性？
• RQ2 在引入系统不确定性后，Feldman & Cousins与Roe & Woodroofe排序方案在覆盖性方面的表现如何？
• RQ3 不确定性分布的形状和类型（高斯、均匀、对数正态）是否会影响最终的覆盖结果？
• RQ4 集合定义的选择——即相同实验（固定干扰参数）与相似实验（干扰参数变化）——如何影响覆盖结果？
• RQ5 当集合中包含随机变化的干扰参数时，Cousins & Highland方法是否仍与频率学统计一致？

主要发现

• 即使在没有系统不确定性的情况下，Feldman & Cousins方法也因泊松分布的离散性而出现过度覆盖。
• 即使在没有系统不确定性的情况下，Roe & Woodroofe方法在低信号期望值时也出现覆盖不足。
• 系统不确定性会增加过度覆盖，其中高斯分布和对数正态分布的影响最为显著。
• 对于相同不确定度大小（例如，40%的信号效率不确定度），在90%置信水平下，覆盖性从约92%增加到约94%，表明存在适度的额外过度覆盖。
• 当集合中包含随机变化的真实信号效率（更符合重复实验的实际情形）时，Cousins & Highland方法能保持正确的覆盖性，且不会引入额外偏差。
• 覆盖结果在很大程度上取决于集合定义：使用固定参数集合（A）会导致与使用参数变化集合（B）不同的覆盖行为，而后者更符合真实世界实验的情境。