[论文解读] DDMT: Denoising Diffusion Mask Transformer Models for Multivariate Time Series Anomaly Detection

Chaocheng Yang, Tingyin Wang+1 more|arXiv (Cornell University)|Oct 13, 2023

Anomaly Detection Techniques and Applications被引用 5

一句话总结

本文提出 DDMT，一种用于多变量时间序列异常检测的新型去噪扩散掩码变换器模型，通过将去噪扩散变换器与自适应动态邻近掩码（ADNM）相结合，缓解了弱身份映射和信息泄露问题。该模型通过有效捕捉长程依赖关系并提升异常检测鲁棒性，实现了在五个基准数据集上的最先进性能。

ABSTRACT

Anomaly detection in multivariate time series has emerged as a crucial challenge in time series research, with significant research implications in various fields such as fraud detection, fault diagnosis, and system state estimation. Reconstruction-based models have shown promising potential in recent years for detecting anomalies in time series data. However, due to the rapid increase in data scale and dimensionality, the issues of noise and Weak Identity Mapping (WIM) during time series reconstruction have become increasingly pronounced. To address this, we introduce a novel Adaptive Dynamic Neighbor Mask (ADNM) mechanism and integrate it with the Transformer and Denoising Diffusion Model, creating a new framework for multivariate time series anomaly detection, named Denoising Diffusion Mask Transformer (DDMT). The ADNM module is introduced to mitigate information leakage between input and output features during data reconstruction, thereby alleviating the problem of WIM during reconstruction. The Denoising Diffusion Transformer (DDT) employs the Transformer as an internal neural network structure for Denoising Diffusion Model. It learns the stepwise generation process of time series data to model the probability distribution of the data, capturing normal data patterns and progressively restoring time series data by removing noise, resulting in a clear recovery of anomalies. To the best of our knowledge, this is the first model that combines Denoising Diffusion Model and the Transformer for multivariate time series anomaly detection. Experimental evaluations were conducted on five publicly available multivariate time series anomaly detection datasets. The results demonstrate that the model effectively identifies anomalies in time series data, achieving state-of-the-art performance in anomaly detection.

研究动机与目标

• 解决基于重建的模型在多变量时间序列异常检测中的局限性，特别是重建过程中的噪声敏感性和弱身份映射（WIM）问题。
• 通过动态掩码异常特征及其邻近特征，减少序列重建过程中的信息泄露，提升模型鲁棒性。
• 将去噪扩散模型与变换器架构结合，以建模复杂的时间依赖关系并学习正常时间序列的底层概率分布。
• 在多个公开的多变量时间序列异常检测基准上实现最先进性能。
• 研究关键超参数（如掩码尺度和扩散步数）对模型性能和计算成本的影响。

提出的方法

• 提出去噪扩散变换器（DDT），利用变换器作为反向去噪过程的内部神经网络，有效建模时间序列中的长程时间依赖关系。
• 引入自适应动态邻近掩码（ADNM）机制，基于皮尔逊相关系数动态识别并掩码异常节点及其高度相关邻近节点的特征。
• 在扩散模型中采用逐步去噪过程，逐步从受损时间序列中去除噪声，以重建出干净的正常模式。
• 将原始序列与去噪后序列之间的重建误差作为异常得分，误差越大表示潜在异常的可能性越高。
• 通过最小化原始序列与重建序列之间差异的去噪目标，端到端训练模型。
• 利用变换器中的自注意力机制捕捉多变量时间序列特征中的局部与全局依赖关系。

实验结果

研究问题

• RQ1 所提出的 ADNM 机制在多变量时间序列重建中如何提升重建质量并减少信息泄露？
• RQ2 与现有生成模型相比，将去噪扩散模型与变换器架构结合在异常检测性能方面提升了多少？
• RQ3 在异常检测灵敏度与重建保真度之间取得平衡时，最优的掩码尺度和相关性阈值是多少？
• RQ4 扩散步数的增加如何影响模型性能和计算效率？
• RQ5 DDMT 框架能否在具有不同异常模式的多样化多变量时间序列数据集上实现有效泛化？

主要发现

• DDMT 模型在五个公开的多变量时间序列异常检测基准上实现了最先进性能，在精确率、召回率和 F1 分数上均优于现有方法。
• ADNM 机制显著提升了模型鲁棒性，通过减少信息泄露实现性能优化，最优表现出现在皮尔逊相关系数阈值为 0.5–0.6 时。
• 增加扩散步数可提升异常检测性能，但仅在 500 步左右达到最优，超过该点性能增益趋于平缓，而训练时间急剧增加。
• 消融实验表明，ADNM 和去噪扩散组件均对高性能至关重要，二者独立地对异常检测准确率有显著贡献。
• 该模型在多样化数据集上表现出强大的泛化能力，表明其在高维时间序列中检测细微和复杂异常的有效性。
• 模型的计算成本随扩散步数增加而上升，凸显了在资源受限环境中对高效架构设计的必要性。