[论文解读] Inference for Change Points in High Dimensional Data

Runmin Wang, Stanislav Volgushev+1 more|arXiv (Cornell University)|May 21, 2019

Statistical Methods and Inference被引用 17

一句话总结

该论文提出了一种新颖的、无需调参的基于U统计量的检验方法，用于通过自归一化检测高维数据中的均值变化，实现了顺序U统计量过程的弱收敛。该方法扩展至多重变化点和协方差结构变化的检测，具备理论严谨性，并通过野蛮二分法（wild binary segmentation）进行了经验验证。

ABSTRACT

This article considers change point testing and estimation for high dimensional data. In the case of testing for a mean shift, we propose a new test which is based on U-statistics and utilizes the self-normalization principle. Our test targets dense alternatives in the high dimensional setting and involves no tuning parameters. The weak convergence of a sequential U-statistic based process is shown as an important theoretical contribution. Extensions to testing for multiple unknown change points in the mean, and testing for changes in the covariance matrix are also presented with rigorous asymptotic theory and encouraging simulation results. Additionally, we illustrate how our approach can be used in combination with wild binary segmentation to estimate the number and location of multiple unknown change points.

研究动机与目标

• 开发一种在密集替代假设下对高维数据中的均值变化检测具有鲁棒性的、无需调参的检验方法。
• 建立顺序U统计量过程的弱收敛性，作为基础性的理论贡献。
• 将该方法扩展至检测多个未知变化点以及协方差矩阵的变化。
• 提供一个实用框架，将该检验与野蛮二分法结合，以估计多个变化点的数量与位置。

提出的方法

• 该检验基于U统计量，以捕捉高维数据中的成对依赖关系，确保方法的稳健性与效率。
• 应用自归一化以在高维渐近条件下稳定检验统计量，从而消除带宽或调参的需要。
• 证明了顺序U统计量过程的弱收敛性，从而支持渐近分布推断。
• 通过构建类似的基于U统计量的检验统计量，将该方法扩展至检测协方差矩阵的变化。
• 将野蛮二分法整合进来，通过递归划分数据以估计多个变化点，并提供理论保证。
• 该方法旨在处理密集替代情形，即许多但并非所有变量发生均值变化。

实验结果

研究问题

• RQ1 能否开发一种无需调参的检验方法，用于高维均值变化检测，并在密集替代假设下保持检验效能？
• RQ2 在高维设定下，顺序U统计量过程的渐近分布为何？
• RQ3 如何将所提出的检验方法扩展至检测高维数据协方差结构的变化？
• RQ4 能否将该检验与野蛮二分法有效结合，以估计多个变化点？
• RQ5 该方法在各种高维配置下的有限样本性质与实际性能如何？

主要发现

• 所提出的基于U统计量的检验实现了顺序过程的弱收敛，为统计推断提供了坚实的理论基础。
• 该检验无需调参，在高维数据中检测密集均值变化方面表现有效，模拟研究结果表明其优于现有方法。
• 该方法成功扩展至检测协方差矩阵的变化，其有效性得到了严格的渐近理论支持。
• 与野蛮二分法结合后，该方法能准确估计多个变化点的数量与位置。
• 模拟结果表明，该方法在多种高维场景下均表现出强劲的实证性能，包括不同信号强度与维度的情形。
• 即使变量数量远超样本量，该方法仍能保持良好的尺寸与功效。