[论文解读] Distribution-Free Detection of Structured Anomalies: Permutation and Rank-Based Scans

Ery Arias-Castro, Rui M. Castro+2 more|arXiv (Cornell University)|Aug 12, 2015

Data-Driven Disease Surveillance参考文献 38被引用 3

一句话总结

本文提出两种分布自由的方法——基于置换的和基于秩的扫描统计量——用于在零分布未知时检测结构化异常。结果表明，与已知真实零分布的oracle扫描检验相比，这两种方法在自然指数族（包括正态和泊松模型）下仅造成可忽略的统计功效损失，其中基于秩的扫描统计量在计算效率和抗异常值方面更具优势。

ABSTRACT

The scan statistic is by far the most popular method for anomaly detection, being popular in syndromic surveillance, signal and image processing, and target detection based on sensor networks, among other applications. The use of the scan statistics in such settings yields a hypothesis testing procedure, where the null hypothesis corresponds to the absence of anomalous behavior. If the null distribution is known, then calibration of a scan-based test is relatively easy, as it can be done by Monte Carlo simulation. When the null distribution is unknown, it is less straightforward. We investigate two procedures. The first one is a calibration by permutation and the other is a rank-based scan test, which is distribution-free and less sensitive to outliers. Furthermore, the rank scan test requires only a one-time calibration for a given data size making it computationally much more appealing. In both cases, we quantify the performance loss with respect to an oracle scan test that knows the null distribution. We show that using one of these calibration procedures results in only a very small loss of power in the context of a natural exponential family. This includes the classical normal location model, popular in signal processing, and the Poisson model, popular in syndromic surveillance. We perform numerical experiments on simulated data further supporting our theory and also on a real dataset from genomics.

研究动机与目标

• 为解决在真实应用场景（如症候监测和传感器网络）中零分布未知时扫描统计量校准的挑战。
• 开发传统扫描检验的分布自由替代方法，避免对底层数据分布的参数假设。
• 量化这些非参数方法相对于已知真实零分布的oracle扫描检验的性能损失。
• 展示基于秩的扫描检验在高维或易受异常值影响场景下的计算效率和鲁棒性优势。
• 通过模拟数据和真实基因组数据集的数值实验验证理论结果。

提出的方法

• 通过在零假设下重采样数据，使用基于置换的校准方法估计扫描统计量的零分布，从而在无需参数假设的情况下实现有效的假设检验。
• 提出一种基于秩的扫描检验方法，将原始观测值替换为对应秩次后再计算扫描统计量，确保分布自由的推断。
• 将扫描统计量应用于所有感兴趣的连续区间（或区域），计算每个区间内数值（或秩次）之和，并将最大值作为检验统计量。
• 利用极值理论和集中不等式，推导扫描统计量在零假设和备则假设下的渐近性质。
• 建立基于秩的扫描检验p值的理论界，表明在备则假设下其以指数速率趋于零，从而确认其一致性。
• 基于数据规模进行一次性的校准，使基于秩的扫描检验相比重复的蒙特卡洛模拟更具计算效率。

实验结果

研究问题

• RQ1 当零分布未知时，特别是在症候监测或传感器网络等场景下，如何对扫描统计量进行校准？
• RQ2 与已知零分布的oracle扫描检验相比，基于置换和基于秩的扫描检验的性能损失有多大？
• RQ3 基于秩的扫描检验是否在抗异常值能力和计算效率方面优于基于置换的校准方法？
• RQ4 在零分布未知的情况下，基于秩的扫描检验在何种条件下仍能保持高统计功效？
• RQ5 所提出的方法是否能在模拟数据和真实世界数据（如基因组数据）中得到理论支持和实证验证？

主要发现

• 基于置换的扫描检验在正态和泊松模型下，检测功效接近oracle扫描检验，仅造成微小的性能损失。
• 基于秩的扫描检验具有分布自由特性，且与oracle检验相比，功效损失极小，尤其在正态位置模型和泊松模型下表现优异。
• 基于秩的扫描检验仅需基于数据规模进行一次校准，计算效率显著高于基于置换的方法。
• 理论分析表明，在备则假设下，基于秩的扫描检验的p值以指数速率趋于零，验证了其一致性。
• 在模拟数据上的数值实验验证了理论结果，表明其在多种异常配置下均具有稳健性能。
• 在真实基因组数据集上的实证验证表明，基于秩的扫描检验在实际异常检测中具有实用价值和强健性。