[论文解读] On hypothesis testing, trials factor, hypertests and the BumpHunter

G. Choudalakis|arXiv (Cornell University)|Jan 2, 2011

Particle physics theoretical and experimental studies参考文献 5被引用 89

一句话总结

本文提出了 BumpHunter，一种用于高能物理数据中检测局部过剩（'bumps'）的模型无关假设检验方法，通过一种称为 'hypertests' 的新框架来解决 'trials factor' 问题。该方法在 Banff Challenge 问题1上进行了验证，展示了其在复杂、多谱线场景下，通过校正 p 值，有效识别出显著偏离背景的异常信号。

ABSTRACT

A detailed presentation of hypothesis testing is given. The "look elsewhere" effect is illustrated, and a treatment of the trials factor is proposed with the introduction of hypothesis hypertests. An example of such a hypertest is presented, named BumpHunter, which is used in the recent ATLAS dijet resonance search, and in an earlier version in the CDF Global Search, to look for exotic phenomena in high energy physics. As a demonstration, the BumpHunter is used to address Problem 1 of the Banff Challenge.

研究动机与目标

• 为解决高能物理中 'look elsewhere effect' 的统计挑战，即在多个搜索区域中增加假阳性发现的概率。
• 形式化假设检验中 'trials factor' 的概念，并提出一种基于 'hypertests' 的解决方案——一种将标准检验推广以考虑多重检验的框架。
• 提出 BumpHunter 作为一种实用的、模型无关的 hypertest，用于检测数据中不依赖特定信号形状的局部信号特征（bumps）。
• 在真实世界基准问题上验证该方法：Banff Challenge 的问题1，展示其在检测隐藏信号时的鲁棒性与灵敏度。

提出的方法

• 提出 'hypertests' 作为标准假设检验的推广，其中检验统计量在所有可能的搜索区域（如质量窗口）上计算，p 值则来自原假设下最大检验统计量的分布。
• 将 BumpHunter 检验统计量定义为对数据中滑动窗口应用类似 Kolmogorov-Smirnov 检验所得 p 值的负对数，用于衡量与背景的局部偏离程度。
• 通过在原假设下生成的伪实验估计 BumpHunter 检验统计量的抽样分布，从而实现 p 值的精确计算。
• 通过考虑所有搜索窗口中观察到的最大显著性，实施 'trials correction'，确保第一类错误率得到控制。
• 将 BumpHunter 扩展至多谱线场景，引入 'mBH'（multi-BumpHunter），仅在相近质量处检测到显著峰时，将多个独立分布中的 BumpHunter 统计量合并，从而增强对共振信号的灵敏度。
• 提出 TailHunter 作为变体，用于检测高 x 尾部，采用类似的 hypertest 框架，但聚焦于分布的上尾部分。

实验结果

研究问题

• RQ1 如何在 'bump hunting' 中严格校正 'trials factor'（即因在多个假设检验中搜索而增加的假阳性风险）？
• RQ2 是否存在一种原则性、可推广的框架，用于构建考虑在大量可能信号位置中搜索的假设检验？
• RQ3 一种模型无关的检验能否在不假设特定信号形状或位置的前提下，检测出局部过剩，同时保持统计有效性？
• RQ4 BumpHunter 在检测 Banff Challenge 等复杂真实世界数据中细微、局部的信号时表现如何？
• RQ5 hypertest 框架能否扩展至结合多个独立谱线中的证据，以提高对共振信号的检测灵敏度？

主要发现

• BumpHunter 在 Banff Challenge 问题1中成功识别出显著的局部过剩，p 值小于 0.01，表明对原假设存在强有力证据。
• 该方法正确校正了 'trials factor'，确保即使在扫描大量搜索窗口的情况下，报告的 p 值仍能反映真实的第一类错误率。
• 在模拟信号场景中，40 个在 0 到 1 之间均匀分布的事件，BumpHunter 检测到该过剩，检验统计量为 17.8，远超原假设下 690 次伪实验中观察到的值。
• TailHunter 变体在另一示例中有效检测到高 x 尾部，检验统计量为 17.8，p 值再次小于 0.01，置信度超过 0.999。
• mBH 扩展显著提升了当信号在多个谱线中同时出现时的灵敏度，因为它仅在峰在空间上对齐时才合并显著性。
• hypertest 框架为 'trials factor' 问题提供了灵活且通用的解决方案，BumpHunter 和 TailHunter 作为高能物理中可复用的具体实现。