[论文解读] Change Points via Probabilistically Pruned Objectives

Nicholas A. James, David S. Matteson|arXiv (Cornell University)|May 16, 2015

Statistical Methods and Inference参考文献 49被引用 6

一句话总结

本文提出 cp3o，一种用于通过任意拟合优度度量检测多元时间序列中多个变化点的基于概率剪枝的搜索算法。通过结合精确搜索与概率剪枝，cp3o 在序列长度增加时仍能实现对变化点位置和数量的一致估计；当与 E-统计量结合时，可得到 e-cp3o——一种非参数方法，在最小矩假设下可检测任意分布变化。

ABSTRACT

The concept of homogeneity plays a critical role in statistics, both in its applications as well as its theory. Change point analysis is a statistical tool that aims to attain homogeneity within time series data. This is accomplished through partitioning the time series into a number of contiguous homogeneous segments. The applications of such techniques range from identifying chromosome alterations to solar flare detection. In this manuscript we present a general purpose search algorithm called cp3o that can be used to identify change points in multivariate time series. This new search procedure can be applied with a large class of goodness of fit measures. Additionally, a reduction in the computational time needed to identify change points is accomplish by means of probabilistic pruning. With mild assumptions about the goodness of fit measure this new search algorithm is shown to generate consistent estimates for both the number of change points and their locations, even when the number of change points increases with the time series length. A change point algorithm that incorporates the cp3o search algorithm and E-Statistics, e-cp3o, is also presented. The only distributional assumption that the e-cp3o procedure makes is that the absolute $α$th moment exists, for some $α\in(0,2)$. Due to this mild restriction, the e-cp3o procedure can be applied to a majority of change point problems. Furthermore, even with such a mild restriction, the e-cp3o procedure has the ability to detect any type of distributional change within a time series. Simulation studies are used to compare the e-cp3o procedure to other parametric and nonparametric change point procedures, we highlight applications of e-cp3o to climate and financial datasets.

研究动机与目标

• 开发一种通用、计算高效的搜索算法，用于识别多元时间序列中的变化点。
• 通过概率剪枝显著降低变化点检测的计算负担，同时保持统计一致性。
• 创建一种非参数方法，可在无需强参数假设的前提下检测任意类型的分布变化。
• 将搜索过程与变化点数量解耦，实现对多种分段结构的高效探索。
• 在温和正则性条件下，为变化点的数量和位置提供理论一致性保证。

提出的方法

• 提出 cp3o，一种使用概率剪枝提前剔除次优分段结构的精确搜索算法，从而降低计算成本。
• 采用基于拟合优度度量的尾部行为推导出的概率界进行剪枝的动态规划方法。
• 将 cp3o 与 E-统计量（E-稳健）结合，形成 e-cp3o，实现对任意分布变化的非参数检测。
• 依赖不完全 U-统计量实现 E-统计量，其具有稳健性，仅需存在 α 阶绝对矩（α ∈ (0,2)）。
• 采用最小分段长度约束（δ = 5 或 6 个观测值），以确保统计稳定性并避免过拟合。
• 应用依赖于拟合优度度量及其尾部行为的剪枝规则，确保在温和假设下的统计一致性。

实验结果

研究问题

• RQ1 能否设计一种通用搜索算法，在对底层分布假设极少的前提下，检测多元时间序列中的多个变化点？
• RQ2 如何在不牺牲统计一致性的前提下，显著提升精确变化点检测的计算效率？
• RQ3 在仅依赖矩存在性条件的前提下，非参数方法在多大程度上可检测任意分布变化？
• RQ4 将概率剪枝与精确搜索结合，是否能为变化点的数量和位置提供一致估计？
• RQ5 e-cp3o 方法在性能和速度上与现有参数和非参数变化点检测技术相比如何？

主要发现

• 在对拟合优度度量的温和假设下，cp3o 算法在时间序列长度增加时，能一致估计变化点的数量和位置。
• e-cp3o 可检测多元时间序列中任意类型的分布变化，仅需存在某个 α ∈ (0,2) 的 α 阶绝对矩。
• 该方法在外汇汇率数据中识别出两个显著变化点：1998 年 5 月 31 日（与俄罗斯卢布危机相关）和 2000 年 3 月 31 日（与巴西转向自由浮动汇率制度相关）。
• 由于采用精确剪枝与近似 E-统计量结合，e-cp3o 程序显著快于结合精确统计量与近似搜索的方法。
• 模拟研究显示，e-cp3o 在检测多种数据类型中的分布偏移方面，优于其他非参数和参数方法。
• 在气候和金融数据应用中，该方法对非正态和重尾分布表现出稳健性。