[论文解读] DCdetector: Dual Attention Contrastive Representation Learning for Time Series Anomaly Detection

Yiyuan Yang, Chaoli Zhang+3 more|arXiv (Cornell University)|Jun 17, 2023

Anomaly Detection Techniques and Applications参考文献 76被引用 10

一句话总结

DCdetector 引入一个双分支、双注意力对比框架用于无监督时间序列异常检测，学习对置换不变的表示以区分正常点和异常点，且不使用重构损失。

ABSTRACT

Time series anomaly detection is critical for a wide range of applications. It aims to identify deviant samples from the normal sample distribution in time series. The most fundamental challenge for this task is to learn a representation map that enables effective discrimination of anomalies. Reconstruction-based methods still dominate, but the representation learning with anomalies might hurt the performance with its large abnormal loss. On the other hand, contrastive learning aims to find a representation that can clearly distinguish any instance from the others, which can bring a more natural and promising representation for time series anomaly detection. In this paper, we propose DCdetector, a multi-scale dual attention contrastive representation learning model. DCdetector utilizes a novel dual attention asymmetric design to create the permutated environment and pure contrastive loss to guide the learning process, thus learning a permutation invariant representation with superior discrimination abilities. Extensive experiments show that DCdetector achieves state-of-the-art results on multiple time series anomaly detection benchmark datasets. Code is publicly available at https://github.com/DAMO-DI-ML/KDD2023-DCdetector.

研究动机与目标

• 通过利用对比表示学习，推动多变量时间序列的无监督异常检测。
• 提出一个轻量级的双分支架构，配备双注意力，用以区分正常模式与异常。
• 消除对重构损失和负样本的依赖，以降低来自异常的干扰。
• 在多样化的真实世界数据集上展示最先进的性能，并提供避免崩塌的分析。

提出的方法

• 使用基于补丁的、通道无关的注意力模块来捕捉局部和跨通道的时序依赖。
• 实现一个双注意力对比结构，处理数据的两种视图：分块表示和块内表示，权重共享。
• 优化基于对称 KL-divergence 的损失，使两种视图对齐，同时在没有负样本的情况下防止简单崩塌。
• 将异常分数计算为两种表示之间 KL 发散的和，并使用 stop-gradient 操作来实现非对称性。
• 采用多尺度补丁设计以减少信息丢失并提升表示丰富性。

实验结果

研究问题

• RQ1 一个双分支、双注意力对比框架是否能在没有重构损失的情况下学习区分时间序列异常的判别性表示？
• RQ2 跨分块视图和块内视图的置换不变表示是否能够有效地将正常点与异常点在多变量时间序列中分离？
• RQ3 多尺度补丁设计如何影响信息保留和异常判别在 DCdetector 中的表现？
• RQ4 在纯自监督设置且没有负样本的情况下，模型对崩塌的鲁棒性如何？

主要发现

• DCdetector 在七个多变量和一个单变量时间序列异常检测基准上达到与最先进方法竞争或更优的表现。
• 该方法采用两分支、权重共享的架构，学习对正常点具有置换不变性的表示，而异常在跨视图的表示差异较大。
• 一个不依赖重构的对比目标，结合 stop-gradient，降低来自异常的干扰，并在防止简单崩塌方面表现出鲁棒性。
• 多尺度补丁设计提高信息保留，帮助捕捉局部语义模式，从而提升异常检测性能。
• 实证结果在包括真实世界的多变量和单变量时间序列在内的多样数据集上显示出强劲表现。