[论文解读] DTAAD: Dual Tcn-Attention Networks for Anomaly Detection in Multivariate Time Series Data

Lingrui Yu|arXiv (Cornell University)|Feb 17, 2023

Anomaly Detection Techniques and Applications参考文献 59被引用 6

一句话总结

DTAAD 提出了一种轻量级、无监督的多变量时间序列异常检测模型，采用双分支 TCN-注意力网络与自回归自编码器及反馈机制结合。该模型在六大数据集上的表现优于当前最先进基线模型，F1 分数提升 8.38%，训练速度提升 99%，展现出卓越的性能与效率。

ABSTRACT

Anomaly detection techniques enable effective anomaly detection and diagnosis in multi-variate time series data, which are of major significance for today's industrial applications. However, establishing an anomaly detection system that can be rapidly and accurately located is a challenging problem due to the lack of anomaly labels, the high dimensional complexity of the data, memory bottlenecks in actual hardware, and the need for fast reasoning. In this paper, we propose an anomaly detection and diagnosis model, DTAAD, based on Transformer and Dual Temporal Convolutional Network (TCN). Our overall model is an integrated design in which an autoregressive model (AR) combines with an autoencoder (AE) structure. Scaling methods and feedback mechanisms are introduced to improve prediction accuracy and expand correlation differences. Constructed by us, the Dual TCN-Attention Network (DTA) uses only a single layer of Transformer encoder in our baseline experiment, belonging to an ultra-lightweight model. Our extensive experiments on seven public datasets validate that DTAAD exceeds the majority of currently advanced baseline methods in both detection and diagnostic performance. Specifically, DTAAD improved F1 scores by $8.38\%$ and reduced training time by $99\%$ compared to the baseline. The code and training scripts are publicly available on GitHub at https://github.com/Yu-Lingrui/DTAAD.

研究动机与目标

• 解决在标注数据有限的高维多变量时间序列中进行无监督异常检测的挑战。
• 设计一种能够高效捕捉复杂时间依赖关系与变量间相关性的模型。
• 在保持高检测精度的同时，降低训练时间与内存占用，以支持实时工业部署。
• 通过集成反馈机制与注意力机制，提升异常定位与诊断能力。

提出的方法

• 模型结合了自回归自编码器（AR-AE）与双分支时间卷积网络（TCN）架构：局部 TCN 与全局 TCN，分别用于捕捉短程与长程依赖关系。
• 采用单层 Transformer 编码器建模长程时间模式，通过多头自注意力机制增强序列表征能力。
• 引入反馈机制，通过迭代修正重建误差，持续优化特征学习。
• 在两个解码器（局部与全局）之间应用损失加权，以平衡学习过程并增强相关性差异的捕捉。
• 在 TCN 模块中使用因果卷积与空洞卷积，以保持因果性并高效捕获长程上下文信息。
• 模型采用无监督方式训练，仅使用未来预测损失，结合早停策略与 AdamW 优化算法。

实验结果

研究问题

• RQ1 轻量级、单编码器的 Transformer 基模型能否在多变量时间序列异常检测中实现最先进性能？
• RQ2 双 TCN-注意力设计在捕捉局部异常与全局趋势方面的有效性如何？
• RQ3 反馈机制在不同数据集上对检测精度与泛化能力的提升程度如何？
• RQ4 该模型能否在保持或提升 F1 分数的同时，将训练时间减少 99%？

主要发现

• DTAAD 在完整数据集上相比最强基线模型，F1 分数提升 8.38%，训练时间减少 99%。
• 在 SMD 数据集上平均 F1 分数达到 0.8390，在 WADI 数据集上达到 0.8941，优于所有消融变体。
• TCN_Global 与 TCN_Local 组件对性能贡献最大，其移除导致 F1 与 AUC 分数下降最显著。
• 窗口大小为 10 时达到最佳平衡，兼顾上下文信息捕获与训练效率，性能在此设置下达到峰值。
• 注意力可视化结果表明，全局注意力聚焦于整体趋势，而局部注意力突出显示短期异常，验证了模型的诊断能力。
• 该模型在六个公开数据集（包括 WADI、SMD 与 MSDS）上均表现出良好泛化能力，展现出强鲁棒性与可扩展性。