[论文解读] Data segmentation algorithms: Univariate mean change and beyond

Haeran Cho, Claudia Kirch|arXiv (Cornell University)|Dec 23, 2020

Statistical Methods and Inference参考文献 163被引用 13

一句话总结

本文全面综述了数据分割算法，重点聚焦于单变量均值变化检测，并扩展至高维及函数型变化点分析等复杂问题。论文建立了检测与定位的理论基准，强调经典均值变化问题作为基础，并表明高维性与多重变化点问题的挑战是正交的，从而支持模块化方法开发。

ABSTRACT

Data segmentation a.k.a. multiple change point analysis has received considerable attention due to its importance in time series analysis and signal processing, with applications in a variety of fields including natural and social sciences, medicine, engineering and finance. In the first part of this survey, we review the existing literature on the canonical data segmentation problem which aims at detecting and localising multiple change points in the mean of univariate time series. We provide an overview of popular methodologies on their computational complexity and theoretical properties. In particular, our theoretical discussion focuses on the separation rate relating to which change points are detectable by a given procedure, and the localisation rate quantifying the precision of corresponding change point estimators, and we distinguish between whether a homogeneous or multiscale viewpoint has been adopted in their derivation. We further highlight that the latter viewpoint provides the most general setting for investigating the optimality of data segmentation algorithms. Arguably, the canonical segmentation problem has been the most popular framework to propose new data segmentation algorithms and study their efficiency in the last decades. In the second part of this survey, we motivate the importance of attaining an in-depth understanding of strengths and weaknesses of methodologies for the change point problem in a simpler, univariate setting, as a stepping stone for the development of methodologies for more complex problems. We illustrate this with a range of examples showcasing the connections between complex distributional changes and those in the mean. We also discuss extensions towards high-dimensional change point problems where we demonstrate that the challenges arising from high dimensionality are orthogonal to those in dealing with multiple change points.

研究动机与目标

• 回顾并比较检测和定位单变量时间序列均值中多个变化点的最先进方法。
• 建立检测与定位速率的理论基础，区分同质与多尺度视角。
• 证明经典均值变化问题在解决更复杂的变化点问题中具有关键基础作用。
• 探讨高维数据与多重变化点挑战之间的正交性，以支持模块化方法设计。
• 通过数据变换将复杂分布变化与均值变化联系起来，并评估在高维与函数型设置下的性能。

提出的方法

• 回顾基于二元分割、信息准则和扫描统计的经典数据分割方法，重点关注计算复杂度与理论性质。
• 在同质与多尺度框架下分析检测与定位速率，强调后者在理论基准化中的最优性。
• 提出数据变换技术，将复杂变化点问题（如在方差、分布方面）转化为变换数据中的均值变化问题。
• 通过函数主成分分析或全函数型方法进行降维，以在保留信号与控制噪声之间取得平衡。
• 在高维设置中应用数据驱动投影，以在稀疏性假设下保持信噪比，避免随机投影带来的噪声膨胀。
• 结合单变量、高维与函数型变化点分析的理论洞见，指导复杂数据的方法论设计。

实验结果

研究问题

• RQ1 多重均值变化点检测的理论检测与定位速率是什么？在同质与多尺度框架下有何差异？
• RQ2 如何将涉及均值之外分布变化的复杂变化点问题简化为经典均值变化问题？
• RQ3 高维性挑战（如稀疏性、噪声膨胀）与多重变化点检测挑战之间的相互作用程度如何？
• RQ4 在高维变化点检验中，数据驱动投影与随机或理想投影相比对检测能力有何影响？
• RQ5 如何系统地将单变量数据分割的理论洞见扩展到函数型与高维数据设置？

主要发现

• 多尺度视角为推导数据分割中检测与定位速率提供了最通用且最优的框架。
• 高维变化点问题的挑战与多重变化点问题的挑战正交，支持模块化方法开发。
• 当协方差矩阵为对角矩阵时，随机投影相比理想投影效率损失因子为 $ p^{-1/2} $。
• 利用变化向量中稀疏性的数据驱动投影可在避免过度噪声膨胀的同时保持高检测能力。
• 经典均值变化问题具有基础性作用：通过适当的变换，复杂问题（如在方差、分布方面）可简化为该问题。
• 在函数型数据中，降维方法（如FPCA）与全函数型方法均有效，近期研究提出结合两者以平衡效率与可解释性。