[论文解读] Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy

Jiehui Xu, Haixu Wu+2 more|arXiv (Cornell University)|Oct 6, 2021

Anomaly Detection Techniques and Applications参考文献 30被引用 238

一句话总结

本文提出 Anomaly Transformer，一种新颖的无监督时间序列异常检测模型，利用自注意力机制计算一种关联差异（Association Discrepancy）——即异常点与完整时间序列的关联方式与正常点相比的差异程度。通过引入双分支异常注意力机制和最小最大优化策略，显著增强正常与异常关联之间的可区分性，该模型在服务监控、空间/地球探索及水处理等六个基准数据集上均达到最先进性能。

ABSTRACT

Anomaly detection in time series data is a critical task in various domains, including finance, healthcare, cybersecurity and industry. Traditional methods, such as time series decomposition, clustering, and density estimation, have provided robust solutions for identifying anomalies that exhibit distinct patterns or significant deviations from normal data distributions. Recent advancements in machine learning and deep learning have further enhanced these capabilities. This paper introduces a novel method for anomaly detection that combines the strengths of autoencoders and recurrent neural networks (RNNs) with an reconstruction error feedback mechanism based on Mean Squared Error. We compare our method against classical techniques and recent approaches like OmniAnomaly, which leverages stochastic recurrent neural networks, and the Anomaly Transformer, which introduces association discrepancy to capture long-range dependencies and DCDetector using contrastive representation learning with multi-scale dual attention. Experimental results demonstrate that our method achieves superior overall performance in terms of precision, recall, and F1 score. The source code is available at http://github.com/mribrahim/AE-FAR

研究动机与目标

• 解决无监督时间序列异常检测的挑战，其中异常样本稀少且难以与正常数据区分。
• 开发一种准则，有效捕捉正常与异常时间点之间在时间关联模式上的本质差异。
• 通过同时建模先验关联（邻近集中偏差）与序列关联（全局注意力），提升检测性能。
• 通过新颖的最小最大优化策略增强关联差异的鲁棒性与可区分性。

提出的方法

• 提出双分支结构的异常注意力机制：一支通过带有邻近集中归纳偏差的可学习高斯核建模先验关联，另一支通过标准自注意力机制从原始时间序列中学习序列关联。
• 将关联差异定义为每个时间点的先验关联与序列关联之间的距离，捕捉该点与整个序列关系的偏离程度。
• 引入最小最大策略，优化先验关联以约束序列关联，从而放大正常与异常点之间关联差异的可区分性。
• 使用重建损失保持表示质量，同时最小最大目标增强关联差异在异常检测中的判别能力。
• 将关联差异作为新的检测准则，替代或补充传统的重建误差。
• 仅使用原始时间序列数据，以端到端无监督方式训练模型，无需标注异常样本。

实验结果

研究问题

• RQ1 先验关联（邻近集中）与序列关联（全局注意力）之间的关联差异能否作为可靠且可区分的异常检测准则？
• RQ2 如何建模并利用异常固有的邻近集中偏差以提升检测性能？
• RQ3 最小最大策略能否有效放大关联差异中正常与异常点的区分度，从而增强检测鲁棒性？
• RQ4 所提出的 Anomaly Transformer 是否在多种真实世界时间序列应用中均优于现有最先进方法？

主要发现

• Anomaly Transformer 在三个真实世界应用场景（服务监控、空间与地球探索、水处理）的六个无监督时间序列异常检测基准上均达到最先进性能。
• 最小最大策略显著提升了异常与正常时间点之间的对比度，使 SMD 数据集上的关联差异对比度从仅使用重建的 1.15 提升至 2.39。
• 基于关联的准则优于基于重建的准则，尤其在检测点上下文异常与模式季节性异常时表现更优，显著降低误报率。
• 先验注意力分支中学习到的尺度参数 σ 对异常样本取值更小，证实邻近集中归纳偏差被有效捕捉。
• 可视化结果表明，与重建误差相比，关联差异准则为异常点生成了更一致且更具可区分性的得分。
• 消融实验表明，异常注意力机制与最小最大策略对最优性能均不可或缺，任一组件的移除均导致性能显著下降。