[论文解读] NVAE-GAN Based Approach for Unsupervised Time Series Anomaly Detection

Liang Xu, Liying Zheng+7 more|arXiv (Cornell University)|Jan 8, 2021

Anomaly Detection Techniques and Applications参考文献 15被引用 7

一句话总结

该论文提出T2IVAE，一种无监督时间序列异常检测模型，通过将一维时间序列转换为二维图像以增强时序特征提取，采用深度分层变分自编码器（NVAE）提升重建性能，并结合生成对抗网络（GAN）训练策略以减少过拟合。该模型在NAB数据集上取得0.639的F1分数，在NASA数据集上取得0.651的F1分数，在真实世界数据集上取得0.504的F1分数，优于现有方法（包括DONUT和TADGAN），达到当前最优水平。

ABSTRACT

In recent studies, Lots of work has been done to solve time series anomaly detection by applying Variational Auto-Encoders (VAEs). Time series anomaly detection is a very common but challenging task in many industries, which plays an important role in network monitoring, facility maintenance, information security, and so on. However, it is very difficult to detect anomalies in time series with high accuracy, due to noisy data collected from real world, and complicated abnormal patterns. From recent studies, we are inspired by Nouveau VAE (NVAE) and propose our anomaly detection model: Time series to Image VAE (T2IVAE), an unsupervised model based on NVAE for univariate series, transforming 1D time series to 2D image as input, and adopting the reconstruction error to detect anomalies. Besides, we also apply the Generative Adversarial Networks based techniques to T2IVAE training strategy, aiming to reduce the overfitting. We evaluate our model performance on three datasets, and compare it with other several popular models using F1 score. T2IVAE achieves 0.639 on Numenta Anomaly Benchmark, 0.651 on public dataset from NASA, and 0.504 on our dataset collected from real-world scenario, outperforms other comparison models.

研究动机与目标

• 解决在噪声大、复杂且不平衡的真实世界数据中进行无监督时间序列异常检测的挑战。
• 通过增强一维时间序列中时序相关性的特征表示，提升重建性能与异常检测准确率。
• 通过将生成对抗网络（GAN）训练策略整合到VAE框架中，减少在低数据量场景下的模型过拟合。
• 在多样化的数据集上评估模型的有效性，包括公开基准（NAB、NASA）和一个真实世界工业数据集。

提出的方法

• 将一维一元时间序列转换为二维图像表示，以更好地捕捉时序依赖关系与相关性。
• 采用基于NVAE的深度分层变分自编码器（VAE），通过多层潜在变量采样来建模复杂且多尺度的时序模式。
• 以重建损失作为主要异常评分指标，重建误差越高则越可能为异常。
• 在最终训练阶段引入基于GAN的训练策略，以稳定学习过程并减少过拟合。
• 应用自适应阈值法，根据重建误差分布确定异常边界。
• 在无标签异常样本的情况下，端到端地进行无监督训练。

实验结果

研究问题

• RQ1 将一维时间序列转换为二维图像是否能改善时序相关性的表征，从而提升异常检测性能？
• RQ2 采用分层VAE架构（NVAE）是否能在一元时间序列中实现优于标准VAE的重建与异常检测性能？
• RQ3 基于GAN的训练策略是否能有效减少无监督时间序列异常检测中的过拟合并提升泛化能力？
• RQ4 T2IVAE在多样化的现实世界与基准数据集上与SOTA模型（如DONUT和TADGAN）相比表现如何？

主要发现

• 在Numenta异常基准（NAB）数据集上，T2IVAE取得0.639的F1分数，优于其他对比模型。
• 在NASA公开数据集上，T2IVAE取得0.651的F1分数，在所有测试模型中排名第二，仅略逊于TADGAN。
• 在从工业网络交换机采集的真实世界数据集上，采用GAN训练的T2IVAE_GAN取得0.504的F1分数，优于Luminol、DONUT和TADGAN。
• GAN微调策略在基准数据集与真实世界数据集上均提升了性能，证实其在减少过拟合方面的有效性。
• 二维图像转换、分层VAE结构与GAN训练的结合，相较于标准VAE与自编码器基线模型，实现了持续的性能提升。
• T2IVAE在多样化数据分布下表现出强鲁棒性，在真实世界数据中（异常标签稀疏、模式复杂）表现尤为优越。