[论文解读] Intelligent sampling for multiple change-points in exceedingly long time series with rate guarantees

Zhiyuan Lu, Moulinath Banerjee+1 more|arXiv (Cornell University)|Oct 20, 2017

Statistical Methods and Inference参考文献 26被引用 8

一句话总结

本文提出了一种‘智能采样’方法——一种用于在极长时间序列中估计多个变化点的两阶段方法——首先通过稀疏子样识别候选区域，然后在这些区域附近进行密集采样以精炼估计。该方法在有利条件下将计算复杂度降低至$\sqrt{N}$，同时保持与全数据分析相同的渐近效率，从而实现大规模数据集的可扩展推断。

ABSTRACT

Change point estimation in its offline version is traditionally performed by optimizing over the data set of interest, by considering each data point as the true location parameter and computing a data fit criterion. Subsequently, the data point that minimizes the criterion is declared as the change point estimate. For estimating multiple change points, the procedures are analogous in spirit, but significantly more involved in execution. Since change-points are local discontinuities, only data points close to the actual change point provide useful information for estimation, while data points far away are superfluous, to the point where using only a few points close to the true parameter is just as precise as using the full data set. Leveraging this "locality principle", we introduce a two-stage procedure for the problem at hand, which in the 1st stage uses a sparse subsample to obtain pilot estimates of the underlying change points, and in the 2nd stage refines these estimates by sampling densely in appropriately defined neighborhoods around them. We establish that this method achieves the same rate of convergence and even virtually the same asymptotic distribution as the analysis of the full data, while reducing computational complexity to O(N^0.5) time (N being the length of data set), as opposed to at least O(N) time for all current procedures, making it promising for the analysis on exceedingly long data sets with adequately spaced out change points. The main results are established under a signal plus noise model with independent and identically distributed error terms, but extensions to dependent data settings, as well as multiple stage (>2) procedures are also provided. The performance of our procedure -- which is coined "intelligent sampling" -- is illustrated on both synthetic and real Internet data streams.

研究动机与目标

• 解决传统离线变化点检测在极长时序数据中计算不可行的问题，其中标准方法的复杂度为$O(N)$或更差。
• 利用局部性原理——仅真实变化点附近的样本具有信息量——在不牺牲估计精度的前提下减轻计算负担。
• 开发一种两阶段采样程序，实现与全数据分析相同的收敛速率和渐近分布。
• 在具有独立同分布误差的信号加噪声模型下，提供多个变化点的显式可计算联合置信区间。
• 将框架扩展至依赖数据结构和多阶段程序，提升实际适用性。

提出的方法

• 在第一阶段使用粗粒度方法，通过稀疏子样采样识别变化点的初步估计，从而降低初始计算负载。
• 基于变化点分离距离和信号强度的理论边界，在初步估计周围定义邻域区域。
• 在第二阶段对这些局部化邻域区域实施密集采样，以计算更精确的局部变化点估计量。
• 在局部化区间上应用动态规划或分割算法（如BinSeg或WBinSeg）以提高精度。
• 优化采样分辨率参数$\gamma$以最小化总计算时间，平衡第一阶段与第二阶段的成本。
• 利用对随机区间数量$M_n$及其宽度的理论边界，确保以高概率恢复真实的变化点数量$J$。

实验结果

研究问题

• RQ1 两阶段采样策略是否能在显著降低计算成本的同时，实现与全数据分析相同的统计效率？
• RQ2 如何在第一阶段和第二阶段之间实现采样密度的最优权衡，以最小化总计算时间？
• RQ3 在所提出的框架下，如何显式构建多个变化点的联合置信区间？
• RQ4 该方法对模型误设（如存在瞬态信号脉冲）的鲁棒性如何？
• RQ5 该方法能否扩展至依赖数据结构和多阶段采样程序？

主要发现

• 所提出的智能采样方法实现了与全数据分析相同的收敛速率和渐近分布，确保了统计效率的保持。
• 在有利条件下，总计算复杂度降低至$O(N^{\gamma_{\text{min}} + 2\Xi}\log N)$，其中$\gamma_{\text{min}} = \max\left\{\frac{1-2\Xi+\Lambda}{2}, \Xi + \eta\right\}$，从而实现$\sqrt{N}$量级的计算效率。
• 正确恢复真实变化点数量$J$的概率至少为$1 - C N^{-1}$，以高概率满足$\mathbb{P}(\hat{J} = J) \geq 1 - C(N^*)^{-1}$。
• 模拟结果表明，若在第一阶段使用WBinSeg而非BinSeg，随后进行重新拟合，则无法提升精度（因第二阶段区间宽度固定），但显著增加计算时间（例如，1000次试验下分别约为293秒与7秒）。
• 无论第一阶段使用BinSeg还是WBinSeg，方法性能均保持近乎一致，表明在相同第二阶段精炼策略下，对分割算法选择具有鲁棒性。
• 最优$\gamma$的选择取决于标度参数$\Xi$和$\Lambda$，并识别出三种不同区间：$\Xi < 1/9$，$\Xi \in [1/9, 1/7)$，以及$\Xi \in [1/7, 1/3)$，每种区间对应不同的计算时间边界。