[论文解读] High-dimensional change point estimation via sparse projection

Tengyao Wang, Richard J. Samworth|arXiv (Cornell University)|Jun 20, 2016

Statistical Methods and Inference参考文献 42被引用 16

一句话总结

该论文提出了一种新颖的两阶段方法 inspect，用于检测高维时间序列中仅在稀疏坐标子集中发生均值变化的变点。首先通过在 CUSUM 变换后的数据矩阵上对 k-稀疏主左奇异向量问题进行凸松弛，识别出最优投影方向；随后在投影后的序列上应用单变量变点检测方法，从而在高维渐近条件下，对变点数量和位置估计实现了强有力的理论保证。

ABSTRACT

Changepoints are a very common feature of Big Data that arrive in the form of a data stream. In this paper, we study high-dimensional time series in which, at certain time points, the mean structure changes in a sparse subset of the coordinates. The challenge is to borrow strength across the coordinates in order to detect smaller changes than could be observed in any individual component series. We propose a two-stage procedure called 'inspect' for estimation of the changepoints: first, we argue that a good projection direction can be obtained as the leading left singular vector of the matrix that solves a convex optimisation problem derived from the CUSUM transformation of the time series. We then apply an existing univariate changepoint estimation algorithm to the projected series. Our theory provides strong guarantees on both the number of estimated changepoints and the rates of convergence of their locations, and our numerical studies validate its highly competitive empirical performance for a wide range of data generating mechanisms. Software implementing the methodology is available in the R package 'InspectChangepoint'.

研究动机与目标

• 解决在传统单变量方法统计功效不足的情况下，检测高维时间序列中稀疏均值变化的挑战。
• 开发一种通过坐标间信息共享来检测原本难以察觉的小型变点的方法。
• 提供关于估计变点数量以及其位置收敛速率的理论保证。
• 通过高效算法和公开可用的 R 包 InspectChangepoint 实现方法的实际应用。
• 通过递归方式应用野蛮二元分割（Wild Binary Segmentation）将框架扩展至处理多个变点。

提出的方法

• 对高维时间序列应用 CUSUM 变换，构建一个捕捉均值累计偏离的矩阵。
• 将 k-稀疏主左奇异向量问题进行凸松弛，以估计与均值变化向量对齐的投影方向。
• 将原始数据投影到估计的方向上，以降低维度，同时保留变点信号。
• 在投影后的序列上应用现有的单变量变点检测算法（例如基于 CUSUM 的方法）以定位变点。
• 使用野蛮二元分割递归检测多个变点，通过在残差序列上重复应用单变点检测过程。
• 利用奇异向量扰动和集中不等式的理论结果，建立一致性和收敛速率。

实验结果

研究问题

• RQ1 k-稀疏奇异向量问题的凸松弛能否为高维变点检测提供投影方向的一致估计？
• RQ2 将高维数据投影到估计方向上是否能增强在稀疏坐标中检测微小均值变化的能力？
• RQ3 关于估计变点数量和其位置收敛速率的理论保证是什么？
• RQ4 在数据具有时间依赖性（如弱相关或自回归结构）时，该方法表现如何？
• RQ5 该方法能否在高维设定下扩展至多个变点，并保证一致收敛？

主要发现

• 在高维渐近条件下，该方法实现了对变点数量和位置估计的一致性，且建立了变点位置估计的收敛速率。
• 理论分析表明，估计的投影方向以依赖于稀疏性和信号强度的速率收敛到真实的均值变化方向。
• 在单变点情形下，当信噪比超过与稀疏性和维度相关的阈值时，该方法实现了最优检测功效。
• 数值研究显示，该方法在多种数据生成机制下均表现出具有竞争力的实证性能，包括独立、弱相关和相关误差结构。
• 即使仅少数坐标发生均值变化，该方法仍保持高检测功效，优于单变量和朴素多变量方法。
• 理论保证可推广至空间相关数据，在自回归和等相关性等协方差结构下，提供了估计误差的显式界。