[论文解读] Calibrating the scan statistic: finite sample performance vs. asymptotics

Guenther Walther, Andrew B. Perry|arXiv (Cornell University)|Aug 13, 2020

Data-Driven Disease Surveillance参考文献 38被引用 5

一句话总结

本文提出了有限样本校准方法以改进扫描统计量在所有信号长度下的检测功效，解决了如 Dümbgen-Spokoiny（DS）统计量等渐近方法在短信号上表现欠佳的问题。文中引入了三种实用校准方法——基于尺度的临界值调整、显著性水平调整，以及使用稀疏区间子集的加权邦费罗尼扫描——均被证明在保持强大有限样本性能的同时，避免了渐近方法的效能损失。

ABSTRACT

We consider the problem of detecting an elevated mean on an interval with unknown location and length in the univariate Gaussian sequence model. Recent results have shown that using scale-dependent critical values for the scan statistic allows to attain asymptotically optimal detection simultaneously for all signal lengths, thereby improving on the traditional scan, but this procedure has been criticized for losing too much power for short signals. We explain this discrepancy by showing that these asymptotic optimality results will necessarily be too imprecise to discern the performance of scan statistics in a practically relevant way, even in a large sample context. Instead, we propose to assess the performance with a new finite sample criterion. We then present three calibrations for scan statistics that perform well across a range of relevant signal lengths: The first calibration uses a particular adjustment to the critical values and is therefore tailored to the Gaussian case. The second calibration uses a scale-dependent adjustment to the significance levels and is therefore applicable to arbitrary known null distributions. The third calibration restricts the scan to a particular sparse subset of the scan windows and then applies a weighted Bonferroni adjustment to the corresponding test statistics. This {\sl Bonferroni scan} is also applicable to arbitrary null distributions and in addition is very simple to implement. We show how to apply these calibrations for scanning in a number of distributional settings: for normal observations with an unknown baseline and a known or unknown constant variance,for observations from a natural exponential family, for potentially heteroscadastic observations from a symmetric density by employing self-normalization in a novel way, and for exchangeable observations using tests based on permutations, ranks or signs.

研究动机与目标

• 解决对渐近最优扫描统计量（如DS）在有限样本中对短信号检测功效下降的批评。
• 开发校准方法，使其在广泛信号长度范围内（尤其是短信号）保持高检测功效。
• 用有限样本准则替代渐近近似，以更准确反映大但有限样本中的实际性能。
• 提供可推广、可实现的校准方法，适用于高斯噪声以外的各种分布设定。
• 证明有限样本性能与渐近预测存在显著差异，从而需要新的评估标准。

提出的方法

• 提出一种新的有限样本准则以评估扫描统计量，取代渐近最优性作为主要基准。
• 针对高斯数据提出基于尺度的临界值调整方法，提升长信号检测功效，同时不牺牲短尺度检测能力。
• 开发一种显著性水平调整方法，通过基于区间长度缩放p值，适用于任意已知的零分布。
• 提出一种分块扫描方法，使用稀疏区间子集，并结合加权邦费罗尼校正以控制第一类错误。
• 应用自标准化技术处理异方差或对称分布误差，无需估计方差。
• 对可交换数据使用基于置换的检验，通过秩或符号实现非参数推断，无需分布假设。

实验结果

研究问题

• RQ1 为何渐近最优的DS扫描统计量在有限样本中对短信号会损失功效？
• RQ2 能否通过用数据驱动的、基于尺度的调整替代渐近临界值，来改进扫描统计量的有限样本性能？
• RQ3 如何设计校准方法，使其在所有信号长度（包括短、中、长区间）上均保持高功效？
• RQ4 在大但非无穷大的样本量下，渐近最优性结果在实际应用中误导程度如何？
• RQ5 能否开发适用于多种分布模型（高斯、 exponential family、异方差、可交换）的通用校准方法，而无需针对特定模型进行调参？

主要发现

• DS扫描统计量虽在渐近意义上最优，但在小尺度下临界值过高，导致即使在大样本中对短信号的检测功效也显著下降。
• 当 n = 10^3 时，DS校准在 |I| = 1 处的临界值为 4.14，显著高于标准扫描统计量的 3.72，表明对短信号的敏感性降低。
• 所提出的邦费罗尼扫描方法通过限制扫描区间为稀疏子集，并应用加权邦费罗尼校正，其有限样本性能优于DS，且实现简单。
• 新的有限样本准则表明，即使在大样本中，渐近结果也过于粗糙，无法有效指导实际校准。
• 所提出的校准方法——临界值调整、显著性水平缩放、分块/邦费罗尼扫描——在所有信号长度上均实现了更高的检测功效，同时保持了强第一类错误控制。
• 通过并集界和高斯尾部概率界，为校准方法提供了理论依据，明确界定了每组块中区间的数量，以确保邦费罗尼式校正的有效性。