[论文解读] ImDiffusion: Imputed Diffusion Models for Multivariate Time Series Anomaly Detection

Yuhang Chen, Chaoyun Zhang+8 more|arXiv (Cornell University)|Jul 3, 2023

Anomaly Detection Techniques and Applications被引用 6

一句话总结

ImDiffusion 通过将时间序列插补与扩散模型相结合，提出了一种新颖的多变量时间序列异常检测框架，以建模复杂的时序和跨变量依赖关系。通过利用基于扩散模型的插补器生成的多步去噪输出作为异常信号，该方法在微软生产环境中实现了最先进性能，F1 分数提升 11.4%。

ABSTRACT

Anomaly detection in multivariate time series data is of paramount importance for ensuring the efficient operation of large-scale systems across diverse domains. However, accurately detecting anomalies in such data poses significant challenges. Existing approaches, including forecasting and reconstruction-based methods, struggle to address these challenges effectively. To overcome these limitations, we propose a novel anomaly detection framework named ImDiffusion, which combines time series imputation and diffusion models to achieve accurate and robust anomaly detection. The imputation-based approach employed by ImDiffusion leverages the information from neighboring values in the time series, enabling precise modeling of temporal and inter-correlated dependencies, reducing uncertainty in the data, thereby enhancing the robustness of the anomaly detection process. ImDiffusion further leverages diffusion models as time series imputers to accurately capturing complex dependencies. We leverage the step-by-step denoised outputs generated during the inference process to serve as valuable signals for anomaly prediction, resulting in improved accuracy and robustness of the detection process. We evaluate the performance of ImDiffusion via extensive experiments on benchmark datasets. The results demonstrate that our proposed framework significantly outperforms state-of-the-art approaches in terms of detection accuracy and timeliness. ImDiffusion is further integrated into the real production system in Microsoft and observe a remarkable 11.4% increase in detection F1 score compared to the legacy approach. To the best of our knowledge, ImDiffusion represents a pioneering approach that combines imputation-based techniques with time series anomaly detection, while introducing the novel use of diffusion models to the field.

研究动机与目标

• 解决在具有强时序和跨变量相关性、高维复杂多变量时间序列中准确检测异常的挑战。
• 克服现有预测和重建方法在真实系统中对不确定性和复杂依赖关系建模能力不足的局限。
• 提出一种自监督框架，利用插补降低数据不确定性，提升异常检测的鲁棒性。
• 探索扩散模型在时间序列插补中用于异常检测的新应用，利用其去噪过程提取异常信号。
• 实现在真实生产系统中，特别是在大规模分布式环境下的高检测准确率和及时性。

提出的方法

• 将掩码网格策略与扩散模型结合，实现时间序列插补，以保留时序和变量间依赖关系。
• 在推理过程中利用扩散模型的多步去噪输出作为异常信号源，实现预测的逐步优化。
• 基于去噪轨迹构建集成投票机制，以增强检测的鲁棒性和准确性。
• 分别使用独立的空间和时间变换器来建模跨变量关系和时序动态，提升表征学习能力。
• 采用自监督方式训练模型，基于掩码时间序列数据的重建损失，避免对标注异常的依赖。
• 利用扩散模型的随机性，更好地捕捉真实时间序列中的固有可变性和不确定性。

实验结果

研究问题

• RQ1 扩散模型能否被有效适配用于时间序列插补，以提升多变量时间序列中的异常检测性能？
• RQ2 将基于插补的自监督机制引入后，如何增强对异常检测中复杂时序和跨变量依赖关系的建模能力？
• RQ3 扩散模型的多步去噪输出在多大程度上可作为可靠的异常预测信号？
• RQ4 空间和时间注意力机制在真实多变量时间序列数据上对检测性能的提升有何贡献？
• RQ5 基于扩散模型的插补框架是否能在生产环境中实现优于最先进基线的检测准确率和及时性？

主要发现

• 与微软生产环境中现有的基于深度学习的异常检测器相比，ImDiffusion 在 F1 分数上提升了 11.4%。
• 框架在 R-AUC-PR 上提升了 14.4%，平均检测延迟（ADD）降低了 30.2%，表明异常事件检测更快且更可靠。
• 大量消融实验表明，空间和时间变换器均至关重要，尤其在 SMD 数据集上，若任一模块被移除，性能下降最为显著。
• 使用扩散模型进行插补显著增强了对随机性和复杂依赖关系的建模能力，优于传统重建和预测基线方法。
• 基于多步去噪输出的集成投票机制提升了检测的鲁棒性和准确性，尤其在高变异性环境中表现突出。
• 尽管每个数据点需要多次推理，ImDiffusion 仍保持高在线效率，每秒可处理 5.8 个数据点——足以满足生产环境中 30 秒延迟采样需求。