[论文解读] A model independent safeguard for unbinned Likelihood

N. Priel, L. Rauch+3 more|arXiv (Cornell University)|Oct 9, 2016

Particle physics theoretical and experimental studies参考文献 19被引用 8

一句话总结

本文提出了一种适用于高能物理与天体粒子物理中无模型参数化轮廓似然比检验的模型无关防护机制，通过基于核密度估计（KDE）的惩罚项校正背景形状建模错误。该方法恢复了渐近性质，降低了误发现率，并在不确定性增加时自然地保持敏感度，随着校准数据增多，其性能趋近于真实模型。

ABSTRACT

We present a universal method to include residual un-modeled background shape uncertainties in likelihood based statistical tests for high energy physics and astroparticle physics. This approach provides a simple and natural protection against mismodeling, thus lowering the chances of a false discovery or of an over constrained confidence interval, and allows a natural transition to unbinned space. Unbinned likelihood allows optimal usage of information for the data and the models, and enhances the sensitivity. We show that the asymptotic behavior of the test statistic can be regained in cases where the model fails to describe the true background behavior, and present 1D and 2D case studies for model-driven and data-driven background models. The resulting penalty on sensitivities follows the actual discrepancy between the data and the models, and is asymptotically reduced to zero with increasing knowledge.

研究动机与目标

• 解决高能物理与天体粒子物理中因背景建模不准确而导致的误发现风险与置信区间过度约束问题。
• 当背景模型无法捕捉真实背景形状时，恢复轮廓似然比检验的渐近性质。
• 提供一种通用的、模型无关的方法，适用于参数化与非参数化背景模型，尤其在校准数据有限或不可靠的情况下。
• 通过自然惩罚模型不确定性，无需对真实背景有先验知识，实现无模型似然框架下的稳健统计推断。

提出的方法

• 该方法在无模型轮廓似然比检验中引入一个基于数据与背景模型之间差异的惩罚项，该差异通过核密度估计（KDE）估计。
• 采用两步法：首先，利用校准数据构建非参数KDE以建模背景；其次，通过与KDE和假设模型之间的Kullback-Leibler散度成比例的惩罚项校正似然比。
• 通过修改后的检验统计量，即使在模型误设情况下，也能渐近恢复预期的卡方分布。
• 该方法使用无模型扩展似然函数实现，保留了最优信息利用与敏感度。
• 随着校准样本量增加，惩罚项动态减小，确保敏感度趋近于真实模型的性能。
• 该方法在参数化与非参数化背景模型的一维与二维情况下均进行了验证。

实验结果

研究问题

• RQ1 背景形状建模错误如何影响无模型分析中轮廓似然比检验的渐近行为？
• RQ2 当背景模型不准确时，一种无模型校正是否能恢复检验统计量的渐近性质？
• RQ3 在不同校准样本量下，该方法在误发现率与发现敏感度方面的表现如何？
• RQ4 在多维背景建模中，维度增加对校正效果有何影响？
• RQ5 与使用真实背景模型相比，该方法在敏感度与排除极限方面的表现如何？

主要发现

• 即使背景模型与真实背景形状显著不匹配，该方法仍能成功恢复轮廓似然比检验的渐近分布。
• 在一维情况下，校正后的方法将3σ水平下的误发现率降低至接近零，即使校准样本量较小。
• 在二维情况下，当背景事件为100、预期信号事件为15时，若校准样本量足够大，该方法的发现潜力可接近真实模型的性能，且小样本下自然表现出敏感度损失。
• 惩罚项与基于KDE的模型和真实背景之间的偏差成正比，确保敏感度损失真实反映实际不确定性。
• 随着校准样本量增加，校正方法的敏感度渐近趋近于真实模型，表现出收敛性与鲁棒性。
• 该方法能有效防止在背景模型约束不足或基于有限数据时产生的过度自信排除限界与误发现。