[论文解读] Detecting linear trend changes and point anomalies in data sequences

Hyeyoung Maeng, Piotr Fryźlewicz|arXiv (Cornell University)|Jun 5, 2019

Statistical and numerical algorithms参考文献 21被引用 5

一句话总结

TrendSegment 是一种新颖的方法，通过尾部贪婪非平衡小波变换检测一维数据中的多个线性趋势变化和点异常。这种自适应的、自下而上的多尺度分解方法可同时检测局部和全局特征，计算成本更低，且在模拟和真实气候数据（包括北极和南极海冰以及冰岛气温记录）上验证了其在变化点估计中的一致性。

ABSTRACT

We propose TrendSegment, a methodology for detecting multiple change-points corresponding to linear trend changes or point anomalies in one dimensional data. A core ingredient of TrendSegment is a new Tail-Greedy Unbalanced Wavelet transform: a conditionally orthonormal, bottom-up transformation of the data through an adaptively constructed unbalanced wavelet basis, which results in a sparse representation of the data. The bottom-up nature of this multiscale decomposition enables the detection of point anomalies and linear trend changes at once as the decomposition focuses on local features in its early stages and on global features next. To reduce the computational complexity, the proposed method merges multiple regions in a single pass over the data. We show the consistency of the estimated number and locations of change-points. The practicality of our approach is demonstrated through simulations and two real data examples, involving Iceland temperature data and sea ice extent of the Arctic and the Antarctic. Our methodology is implemented in the R package trendsegmentR, available from CRAN.

研究动机与目标

• 开发一种可同时检测一维数据序列中线性趋势变化和点异常的方法。
• 解决在不知晓变化点数量和位置的情况下高效检测多个变化点的挑战。
• 在保持变化点估计的统计一致性的同时，降低计算复杂度。
• 通过分层的、自下而上的分解，实现对局部（点异常）和全局（趋势变化）特征的同步检测。

提出的方法

• 该方法采用尾部贪婪非平衡小波变换，自适应地构建正交基，以稀疏方式表示数据。
• 分解过程为自下而上，优先处理局部特征，随后处理全局特征，从而实现异常和趋势变化的联合检测。
• 通过单次遍历的合并策略，在分解过程中高效聚合区域，降低计算复杂度。
• 小波基为条件正交，确保表示的稳定性和可解释性。
• 通过分析稀疏小波系数识别变化点，显著偏离的系数表明异常或趋势转变。
• 该方法已实现于 R 包 trendsegmentR 中，可在 CRAN 上获取，便于实际应用。

实验结果

研究问题

• RQ1 单一方法能否有效检测一维数据序列中的线性趋势变化和点异常？
• RQ2 如何设计一种多尺度分解方法，以计算高效的方式优先处理局部特征，随后处理全局特征？
• RQ3 该方法在估计变化点数量和位置方面的统计一致性如何？
• RQ4 该方法在具有复杂时间结构的真实世界数据（如气候时间序列）上的表现如何？

主要发现

• 所提出的方法在理论上证明了对变化点数量和位置的估计具有一致性。
• 尾部贪婪非平衡小波变换生成了数据的稀疏表示，提升了可解释性和检测准确性。
• 自下而上的分解实现了点异常和趋势变化的同步检测，无需分别处理。
• 通过单次遍历的合并策略降低计算复杂度，使方法可扩展至大规模数据集。
• 在冰岛气温和北极/南极海冰数据上的实证验证证实了该方法的实际效用和鲁棒性。
• R 包 trendsegmentR 提供了即用型实现，促进了其在应用研究中的采用。