[论文解读] Deep Learning for Multi-Scale Changepoint Detection in Multivariate Time Series

Zahra Ebrahimzadeh, Min Zheng+2 more|arXiv (Cornell University)|May 16, 2019

Time Series Analysis and Forecasting参考文献 29被引用 9

一句话总结

本文提出了一种新颖的深度学习架构——金字塔循环神经网络（PRN），用于多变量时间序列中的多尺度变化点检测。通过整合可训练的小波层与金字塔分析，PRN实现了对突变和渐变的尺度不变检测，在合成数据集和真实世界数据集（包括OPPORTUNITY和蜜蜂摇摆舞数据）上，其在未见过的时间尺度上的准确率和泛化能力均优于当前最先进方法。

ABSTRACT

Many real-world time series, such as in health, have changepoints where the system's structure or parameters change. Since changepoints can indicate critical events such as onset of illness, it is highly important to detect them. However, existing methods for changepoint detection (CPD) often require user-specified models and cannot recognize changes that occur gradually or at multiple time-scales. To address both, we show how CPD can be treated as a supervised learning problem, and propose a new deep neural network architecture to efficiently identify both abrupt and gradual changes at multiple timescales from multivariate data. Our proposed pyramid recurrent neural network (PRN) provides scale-invariance using wavelets and pyramid analysis techniques from multi-scale signal processing. Through experiments on synthetic and real-world datasets, we show that PRN can detect abrupt and gradual changes with higher accuracy than the state of the art and can extrapolate to detect changepoints at novel scales not seen in training.

研究动机与目标

• 解决现有变化点检测（CPD）方法的局限性，这些方法需要用户指定模型，且在处理渐变或多尺度变化时表现不佳。
• 开发一种基于深度学习的CPD框架，能够在不为每个新持续时间重新训练的情况下跨时间尺度泛化。
• 通过端到端可训练架构，实现对多变量时间序列中突变和渐变的精确检测。
• 通过基于小波的分层特征提取与金字塔分析，实现尺度不变性。
• 展示模型在训练期间未出现的新时间尺度上的泛化能力。

提出的方法

• 提出一种可训练的小波层，从数据中学习最优小波滤波器，实现多尺度表征学习。
• 引入一种金字塔循环神经网络（PRN），通过分层池化与特征融合，在多个分辨率下处理时间序列。
• 使用小波变换将输入信号分解为不同尺度的子带，捕捉跨时长的时序模式。
• 应用金字塔分析以逐步下采样并组合特征，同时保留长程依赖性并实现尺度不变性。
• 将CPD视为监督学习问题，在包含各种过渡速度的标签化变化点的合成数据上训练模型。
• 采用损失函数，通过容忍窗口（η）优化变化点定位的精确率与召回率。

实验结果

研究问题

• RQ1 深度学习模型能否在多变量时间序列中以高准确率检测出突变和渐变的变化点？
• RQ2 该模型能否泛化到训练期间未见的时间尺度下的变化点？
• RQ3 小波变换与金字塔架构的结合是否能提升CPD中的尺度不变性？
• RQ4 在不同容忍阈值（η）下，所提出的PRN与最先进方法相比，AUC表现如何？
• RQ5 该模型能否在具有复杂、噪声大且非平稳特性的现实世界数据集上保持稳健性能？

主要发现

• 在合成数据上，当在所有类型变化上进行训练时，PRN在η=512时达到AUC 0.869，显著优于基线模型HM-RNN（0.142）和CNN（0.808）。
• 在“训练突变，测试渐变”设置下，PRN在η=512时达到AUC 0.876，超过表现最佳的模型DWN（0.835）。
• 在“训练渐变，测试突变”设置下，PRN在η=512时达到AUC 0.830，优于DWN（0.834）和CNN（0.830），显示出对未见变化类型的强泛化能力。
• 在OPPORTUNITY数据集上，PRN在η=128时达到AUC 0.833，显著优于CNN（0.710）和GGM（0.065），且误报更少，与真实变化点对齐更优。
• 在蜜蜂摇摆舞数据上，PRN在η=32、64和128时均达到最高AUC 0.932，表明其在真实世界、噪声环境下的鲁棒性与可靠性。
• PRN通过在所有容忍度水平（η）下保持高性能，展示了尺度不变性，表明其能检测任意过渡速度的变化点，即使在训练期间未见过的新尺度下亦可。