[论文解读] Detecting Anomalies within Time Series using Local Neural Transformations

Tim Schneider, Chen Qiu+5 more|arXiv (Cornell University)|Feb 8, 2022

Anomaly Detection Techniques and Applications被引用 8

一句话总结

本文提出局部神经变换（LNT），一种自监督深度学习方法，通过联合学习时间序列表征与局部神经变换，在时间步级别检测异常。LNT通过一种新颖的训练目标，结合表征学习与变换学习，实现了最先进的异常检测性能，优于先前方法在工业物理系统和语音数据上的表现，学习到可解释的多样化变换（如信号延迟）。

ABSTRACT

We develop a new method to detect anomalies within time series, which is essential in many application domains, reaching from self-driving cars, finance, and marketing to medical diagnosis and epidemiology. The method is based on self-supervised deep learning that has played a key role in facilitating deep anomaly detection on images, where powerful image transformations are available. However, such transformations are widely unavailable for time series. Addressing this, we develop Local Neural Transformations(LNT), a method learning local transformations of time series from data. The method produces an anomaly score for each time step and thus can be used to detect anomalies within time series. We prove in a theoretical analysis that our novel training objective is more suitable for transformation learning than previous deep Anomaly detection(AD) methods. Our experiments demonstrate that LNT can find anomalies in speech segments from the LibriSpeech data set and better detect interruptions to cyber-physical systems than previous work. Visualization of the learned transformations gives insight into the type of transformations that LNT learns.

研究动机与目标

• 为解决时间序列异常检测中缺乏有效的数据增强技术，特别是时间步级别的局部异常检测问题。
• 开发一种自监督方法，联合学习时间序列表征与局部神经变换，以提升异常检测性能。
• 实现表征学习与变换学习的端到端联合训练，避免平凡解，提升对细微、局部异常的检测能力。
• 通过在数据空间中可视化变换，实现对学习到的变换的可解释性，揭示如信号延迟等语义上有意义的操作。
• 通过实证验证，结合局部表征学习与变换学习可显著优于现有的对比学习或自编码基线方法。

提出的方法

• LNT 使用神经网络编码器从时间序列窗口中提取潜在表征，随后通过可学习的变换模块在潜在空间中应用动态、参数化的变换。
• 该方法采用对比学习目标，促使模型对时间序列窗口及其变换视图生成相似的表征，同时与其它视图形成对比。
• 变换通过联合损失函数与编码器端到端联合学习，以同时提升表征质量与有意义的变换多样性。
• 模型采用增强的局部神经变换对比预测编码（CPC）框架进行训练，支持基于重建或对比损失的异常评分。
• 为实现变换的可解释性，训练一个独立解码器，从变换后的潜在嵌入中重建原始数据，从而在数据空间中可视化变换效果。
• 该方法通过对比损失计算异常分数，推理阶段无需负样本，支持实际部署。

实验结果

研究问题

• RQ1 与固定或人工设计的数据增强相比，可学习的局部神经变换是否能提升时间序列异常检测性能？
• RQ2 联合学习表征与变换学习是否能避免平凡解，并提升对局部异常的检测能力？
• RQ3 学习到的变换是否能在信号动态（如延迟或变形）方面实现有意义的可解释性？
• RQ4 在真实世界时间序列数据上，LNT与强基线方法（如基于CPC的异常评分或使用CPC特征的OC-SVM）相比表现如何？
• RQ5 LNT能否在复杂时间序列（如语音或工业物理系统）中检测到细微异常，其中时间动态高度非线性？

主要发现

• LNT在工业物理系统三个基准数据集上持续优于基线方法，包括基于CPC的异常评分与使用CPC特征的OC-SVM。
• 在LibriSpeech数据集的语音数据上，LNT实现了最先进的异常检测性能，能高精度检测人工中断。
• 可视化结果表明，LNT学习到可解释的变换，如插入或修改信号延迟，与数据中语义上有意义的时间动态一致。
• 通过LNT的目标函数联合学习表征与变换，生成了更鲁棒、更多样化的数据视图，显著提升了对局部异常的检测能力。
• LNT的异常评分机制具有确定性，推理阶段无需负样本，支持简单可靠的推理过程。
• 理论分析证实，联合学习目标可防止平凡解，并确保变换对异常检测具有实际意义。