[论文解读] RSM-GAN: A Convolutional Recurrent GAN for Anomaly Detection in Contaminated Seasonal Multivariate Time Series

Farzaneh Khoshnevisan, Zhewen Fan|arXiv (Cornell University)|Nov 16, 2019

Anomaly Detection Techniques and Applications参考文献 18被引用 8

一句话总结

RSM-GAN 是一种用于多变量时间序列异常检测的新型卷积循环生成对抗网络架构，通过平滑注意力机制建模复杂季节性，并利用辅助编码器处理污染的训练数据。在真实世界和合成数据上，其精确率分别提升了30%和16%，达到最先进性能，同时通过因果推断框架实现准确的根因识别。

ABSTRACT

Robust anomaly detection is a requirement for monitoring complex modern systems with applications such as cyber-security, fraud prevention, and maintenance. These systems generate multiple correlated time series that are highly seasonal and noisy. This paper presents a novel unsupervised deep learning architecture for multivariate time series anomaly detection, called Robust Seasonal Multivariate Generative Adversarial Network (RSM-GAN). It extends recent advancements in GANs with adoption of convolutional-LSTM layers and an attention mechanism to produce state-of-the-art performance. We conduct extensive experiments to demonstrate the strength of our architecture in adjusting for complex seasonality patterns and handling severe levels of training data contamination. We also propose a novel anomaly score assignment and causal inference framework. We compare RSM-GAN with existing classical and deep-learning based anomaly detection models, and the results show that our architecture is associated with the lowest false positive rate and improves precision by 30% and 16% in real-world and synthetic data, respectively. Furthermore, we report the superiority of RSM-GAN regarding accurate root cause identification and NAB scores in all data settings.

研究动机与目标

• 解决在具有复杂、重叠季节性模式的多变量时间序列中检测异常的挑战。
• 提升对现实系统中常见的严重训练数据污染的鲁棒性。
• 通过因果推断框架实现超越简单异常标记的准确根因识别。
• 通过建模时间与空间依赖性，将基于生成对抗网络的异常检测从图像扩展至多变量时间序列。
• 实现实时、复杂系统监控中的高精确率与低误报率。

提出的方法

• 将原始多变量时间序列转换为多通道相关矩阵，以实现类似图像的表示，便于卷积神经网络处理。
• 采用卷积-LSTM 架构，联合建模相关矩阵中的空间相关性与时间依赖性。
• 提出一种新颖的平滑注意力机制，显式建模多种重叠的季节性模式（如每日、每周、节假日效应）。
• 采用带梯度惩罚的Wasserstein GAN，以实现稳定训练和更快收敛。
• 集成辅助编码器，从污染的训练数据中解耦正常模式与异常模式。
• 提出一种基于残差相关矩阵的评分与因果推断框架，用于分配异常分数并识别根因。

实验结果

研究问题

• RQ1 基于生成对抗网络的架构能否有效检测具有复杂、重叠季节性模式的多变量时间序列中的异常？
• RQ2 当训练数据中存在大量异常（即训练集被污染）时，RSM-GAN 的表现如何？
• RQ3 所提出的注意力机制能否在真实世界时间序列中准确建模多种季节性分量（如每日、每周、节假日效应）？
• RQ4 与标准异常检测模型相比，集成因果推断框架是否能提升根因识别能力？
• RQ5 在不同数据设置下，RSM-GAN 与最先进模型相比，在精确率、F1分数和NAB分数方面表现如何？

主要发现

• 在真实世界的加密密钥数据上，RSM-GAN 相较于最佳基线模型（MSCRED）实现了30%的精确率提升。
• 在合成数据上，RSM-GAN 相较于次佳模型（MSCRED）实现了16%的精确率提升，展现出对污染和季节性的鲁棒性。
• 在污染的合成数据上，RSM-GAN 的误报率（FPR）最低，仅为0.0010，显著优于孤立森林（0.0033）和OC-SVM（0.0038）。
• 在节假日存在的情况下，RSM-GAN 正确考虑了节假日效应，而基线模型如OC-SVM和孤立森林因缺乏节假日感知建模，错误地将节假日标记为异常。
• 在合成数据上，RSM-GAN 的NAB得分为0.8986，在真实世界数据上为0.2992，优于所有基线模型，表明其异常检测质量更优。
• 在合成数据上，模型根因召回率达到78.7%，在真实世界数据上为50.93%，显著优于MSCRED（分别为66.00%和47.09%），展现出更强的诊断能力。