[论文解读] A linear time method for the detection of point and collective anomalies

Alexander T. M. Fisch, Idris Arthur Eckley+1 more|arXiv (Cornell University)|Jun 5, 2018

Advanced Statistical Methods and Models参考文献 34被引用 20

一句话总结

本文提出CAPA，一种线性时间算法，通过联合建模均值和方差的变化，检测时间序列中的点异常和集体异常。该方法在理论上具有一致性且在实践中高效，其准确性和速度优于现有方法，尤其在检测开普勒系外行星数据中的微弱行星凌星现象方面表现突出。

ABSTRACT

The challenge of efficiently identifying anomalies in data sequences is an important statistical problem that now arises in many applications. Whilst there has been substantial work aimed at making statistical analyses robust to outliers, or point anomalies, there has been much less work on detecting anomalous segments, or collective anomalies, particularly in those settings where point anomalies might also occur. In this article, we introduce Collective And Point Anomalies (CAPA), a computationally efficient approach that is suitable when collective anomalies are characterised by either a change in mean, variance, or both, and distinguishes them from point anomalies. Theoretical results establish the consistency of CAPA at detecting collective anomalies and, as a by-product, the consistency of a popular penalised cost based change in mean and variance detection method. Empirical results show that CAPA has close to linear computational cost as well as being more accurate at detecting and locating collective anomalies than other approaches. We demonstrate the utility of CAPA through its ability to detect exoplanets from light curve data from the Kepler telescope.

研究动机与目标

• 填补时间序列数据中同时检测点异常和集体异常的空白。
• 开发一种计算高效的算法，适用于大规模数据（如天文光变曲线）。
• 在均值和方差发生变化的情况下，确保检测集体异常的理论一致性。
• 在噪声大、现实世界的数据中，提高对微弱信号（如行星凌星）的检测准确性。
• 提供一个统一框架，无需假设已知周期性，即可区分集体异常与孤立异常。

提出的方法

• 提出CAPA（集体与点异常检测），一种基于惩罚代价的联合建模均值与方差变化的方法。
• 采用动态规划方法，使用改进的代价函数，引入与 log(n)^{1+δ} 成比例的惩罚项，以避免过拟合。
• 使用鲁棒估计器定义分段代价，对参数估计施加约束以确保稳定性。
• 引入辅助事件（E8, E9）以控制估计误差和分段长度偏差，尤其针对短异常或单点异常。
• 通过事件集和浓度不等式进行理论一致性证明，建立有限样本下检测的可靠性。
• 将算法适配以允许方差中长度为一的流行病式变化，提升在真实应用中的灵活性。

实验结果

研究问题

• RQ1 是否能通过单一方法在计算开销最小的前提下，高效检测时间序列中的点异常与集体异常？
• RQ2 在噪声条件下，如何在有限样本下一致地检测由均值和/或方差变化定义的集体异常？
• RQ3 包含点异常对集体异常检测的影响是什么？如何有效分离两者？
• RQ4 在检测噪声光变曲线中微弱、短暂的信号（如行星凌星）时，该方法能否保持高准确性？
• RQ5 采用 log(n)^{1+δ} 惩罚项的惩罚代价方法，是否能确保真实异常的检测一致性，同时避免误报？

主要发现

• CAPA实现近线性计算成本，使其可扩展应用于大规模数据集（如4000万条开普勒光变曲线）。
• 与现有方法相比，CAPA在检测和定位集体异常方面表现出更优的准确性，尤其在信噪比较低的场景下。
• CAPA与一种广泛使用的惩罚代价方法均建立了理论一致性，证明了随着样本量增加，检测结果具有可靠性。
• CAPA成功检测到开普勒光变曲线数据中的系外行星凌星现象，包括被噪声和全局异常掩盖的微弱信号。
• 在方差中引入长度为一的流行病式变化并未损害检测的一致性，增强了对真实世界数据复杂性的鲁棒性。
• 实证结果证实，CAPA在检测功效和精度方面均优于标准方法，尤其在点异常与集体异常共现时表现更优。