[论文解读] Memory-free Online Change-point Detection: A Novel Neural Network Approach

Zahra Atashgahi, Decebal Constantin Mocanu+2 more|arXiv (Cornell University)|Jul 8, 2022

Time Series Analysis and Forecasting被引用 7

一句话总结

该论文提出ALACPD，一种无需内存、无监督的在线变化点检测方法，采用带有自回归成分的自适应LSTM自编码器，以检测多变量时间序列中的分布漂移。该方法在分割质量（Covering指标）方面达到最先进性能，在F1得分准确性上与最佳方法相当，且无需超参数调优或存储历史数据。

ABSTRACT

Change-point detection (CPD), which detects abrupt changes in the data distribution, is recognized as one of the most significant tasks in time series analysis. Despite the extensive literature on offline CPD, unsupervised online CPD still suffers from major challenges, including scalability, hyperparameter tuning, and learning constraints. To mitigate some of these challenges, in this paper, we propose a novel deep learning approach for unsupervised online CPD from multi-dimensional time series, named Adaptive LSTM-Autoencoder Change-Point Detection (ALACPD). ALACPD exploits an LSTM-autoencoder-based neural network to perform unsupervised online CPD. It continuously adapts to the incoming samples without keeping the previously received input, thus being memory-free. We perform an extensive evaluation on several real-world time series CPD benchmarks. We show that ALACPD, on average, ranks first among state-of-the-art CPD algorithms in terms of quality of the time series segmentation, and it is on par with the best performer in terms of the accuracy of the estimated change-points. The implementation of ALACPD is available online on Github\footnote{\url{https://github.com/zahraatashgahi/ALACPD}}.

研究动机与目标

• 解决多变量时间序列无监督在线变化点检测（CPD）中的可扩展性、超参数调优和内存开销挑战。
• 开发一种无内存的CPD方法，能够在不存储过去输入数据的前提下实时适应新数据分布。
• 消除在在线设置中对数据分布先验知识、变化点数量或标注数据的依赖。
• 设计一种深度学习模型，在保持高检测精度的同时计算效率高，适用于边缘设备。
• 在无需手动调优超参数的情况下，实现对多样化真实世界时间序列基准的鲁棒性能。

提出的方法

• ALACPD采用混合神经架构，结合基于LSTM的自编码器以学习长期时间依赖性，以及自回归（AR）组件以快速响应局部尺度变化。
• 模型使用自编码器的重构误差作为主要异常评分，实现实时变化点检测。
• 一种新颖的自适应机制使模型能够持续更新其内部表征，而无需保留过去输入数据，从而确保无内存运行。
• 自回归组件通过使用固定时间窗口h内的历史观测值来预测当前时间步，实现对突发性变化的快速适应。
• 该架构命名为TAEnet，整合了循环和自回归组件，以在长期上下文感知与短期响应能力之间取得平衡。
• 该方法以无监督方式运行，仅依赖重构损失，无需标注的变化点或分布假设。

实验结果

研究问题

• RQ1 基于深度学习的CPD方法是否能在无需超参数调优的情况下实现高检测精度？
• RQ2 神经网络是否能在保持无内存的前提下实现实时检测多变量时间序列中的变化点？
• RQ3 循环与自回归组件的集成如何相较于单一组件提升CPD性能？
• RQ4 ALACPD在多样化真实世界数据集上相较于最先进方法在无监督在线CPD中的表现提升程度如何？
• RQ5 该模型在检测细微或渐进式变化与突然漂移时的表现如何？

主要发现

• ALACPD在所有SOTA CPD算法中取得最高的平均Covering得分，表明其时间序列分割质量更优。
• 在HAR数据集上，ALACPD在所有动作变化中实现0.67的召回率（M=5），优于BOCPD的0.61召回率。
• 对于涉及坐姿的活动转换（如坐到躺），ALACPD的召回率分别为0.67和0.42，而BOCPD的召回率均低于0.1，表明在检测细微变化方面有显著提升。
• ALACPDw/oAR（无自回归组件）表现出高敏感性但稳定性差，尤其在Apple数据集上表现明显，表明AR组件增强了模型鲁棒性。
• ALACPDw/oAE（无自编码器）无法检测到渐进式变化，例如在run_log数据集约18:22:38附近的变化，凸显了自编码器在长期上下文学习中的重要性。
• 在HAR数据集上，ALACPD在所有误差范围M下的F1得分均优于BOCPD，表明其在精确率与召回率之间具有更优的平衡。