[论文解读] M -statistic for kernel change-point detection

Shuang Li, Yao Xie+2 more|arXiv (Cornell University)|Jul 5, 2015

Statistical Methods and Inference参考文献 42被引用 55

一句话总结

本文提出 M-统计量，一种计算高效的基于核的方法，用于在大规模数据集中检测突变点。通过利用一种新颖的测度变换技术，它能准确刻画尾部概率以设定最优检测阈值，而无需自助法（bootstrapping），从而实现有效的离线和在线突变点检测，尤其在高维场景下表现优异。

ABSTRACT

Detecting the emergence of an abrupt change-point is a classic problem in statistics and machine learning. Kernel-based nonparametric statistics have been proposed for this task which make fewer assumptions on the distributions than traditional parametric approach. However, none of the existing kernel statistics has provided a computationally efficient way to characterize the extremal behavior of the statistic. Such characterization is crucial for setting the detection threshold, to control the significance level in the offline case as well as the false alarm rate (captured by the average run length) in the online case. In this paper we focus on the scenario when the amount of background data is large, and propose two related computationally efficient kernel-based statistics for change-point detection, which we call $M$-statistics. A novel theoretical result of the paper is the characterization of the tail probability of these statistics using a new technique based on change-of-measure. Such characterization provides us accurate detection thresholds for both offline and online cases in computationally efficient manner, without the need to resort to the more expensive simulations such as bootstrapping. Moreover, our $M$-statistic can be applied to high-dimensional data by choosing a proper kernel. We show that our methods perform well in both synthetic and real world data.

研究动机与目标

• 为解决在突变点检测中缺乏计算高效的核统计量极值行为表征方法的问题。
• 为离线和在线突变点检测提供精确的检测阈值，而无需依赖昂贵的模拟方法（如自助法）。
• 通过核选择和可扩展计算，实现在高维数据中的有效突变点检测。
• 开发一种理论基础坚实的检测方法，确保在检测任务中对显著性水平和平均运行长度的控制。

提出的方法

• 提出两种相关的基于核的统计量，称为 M-统计量，专为大规模样本场景下的计算效率而设计。
• 采用一种新颖的测度变换技术，对 M-统计量的尾部分布进行解析表征。
• 利用推导出的尾部概率设定检测阈值，以控制离线检测的显著性水平和在线检测的平均运行长度。
• 通过选择适当的核函数，将该方法应用于高维数据，以保持统计功效和计算可行性。
• 通过推导解析的阈值边界，避免使用计算密集型的重采样方法（如自助法）。
• 将 M-统计量集成到离线和在线检测框架中，并提供误差控制的理论保证。

实验结果

研究问题

• RQ1 如何在不依赖基于模拟的方法下，高效表征基于核的统计量的极值行为？
• RQ2 能否为离线和在线突变点检测开发一种理论基础坚实且计算高效的阈值设定方法？
• RQ3 与现有基于核的方法相比，M-统计量在高维数据中的表现如何？
• RQ4 核函数的选择对 M-统计量的检测功效和计算效率有何影响？
• RQ5 测度变换技术能否提供比经验自助法更精确的尾部概率近似？

主要发现

• M-统计量通过解析的尾部分布表征提供精确的检测阈值，消除了对计算成本高昂的自助法的依赖。
• 测度变换技术实现了对离线检测显著性水平和在线检测平均运行长度的精确控制。
• 该方法在合成数据集和真实世界数据集中均保持强劲性能，展现出对多样化数据结构的鲁棒性。
• 通过利用适当的核函数，M-统计量在不牺牲检测精度的前提下，可扩展至高维数据。
• 理论分析证实，在给定假设下，M-统计量实现了最优检测性能，并具备可证明的误差控制能力。
• 实验结果表明，M-统计量在检测速度和阈值精度方面均优于现有基于核的方法。