[论文解读] Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder

Long-yuan Li, Junchi Yan+2 more|arXiv (Cornell University)|Feb 2, 2021

Anomaly Detection Techniques and Applications被引用 16

一句话总结

本文提出SISVAE，一种通过引入平滑性先验的序列变分自编码器，用于在多维时间序列中实现鲁棒的异常检测。通过在VAE框架中引入时间平滑性先验作为正则化项，该模型提升了密度估计与重建的鲁棒性，在合成数据与真实世界基准上均优于当前最先进方法，尤其在处理点级异常与子序列异常时，显著降低了误报与漏报。

ABSTRACT

Deep generative models have demonstrated their effectiveness in learning latent representation and modeling complex dependencies of time series. In this paper, we present a Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) model for robust estimation and anomaly detection of multi-dimensional time series. Our model is based on Variational Auto-Encoder (VAE), and its backbone is fulfilled by a Recurrent Neural Network to capture latent temporal structures of time series for both generative model and inference model. Specifically, our model parameterizes mean and variance for each time-stamp with flexible neural networks, resulting in a non-stationary model that can work without the assumption of constant noise as commonly made by existing Markov models. However, such a flexibility may cause the model fragile to anomalies. To achieve robust density estimation which can also benefit detection tasks, we propose a smoothness-inducing prior over possible estimations. The proposed prior works as a regularizer that places penalty at non-smooth reconstructions. Our model is learned efficiently with a novel stochastic gradient variational Bayes estimator. In particular, we study two decision criteria for anomaly detection: reconstruction probability and reconstruction error. We show the effectiveness of our model on both synthetic datasets and public real-world benchmarks.

研究动机与目标

• 解决在受异常污染的多维时间序列中实现鲁棒密度估计的挑战。
• 通过更有效地建模时间连续性与正常模式，提升异常检测性能。
• 开发一种灵活的非平稳生成模型，不假设噪声在时间上恒定。
• 引入一种平滑性诱导先验，对非平滑重建进行正则化，增强模型鲁棒性。
• 在真实世界与合成数据集上，通过点级与子序列异常检测任务评估模型性能。

提出的方法

• 模型在推理网络与生成网络中均采用循环神经网络（RNN）主干，以捕捉时间序列中的时间依赖性。
• 使用灵活的神经网络对每个时间步的潜在分布均值与方差进行参数化，实现非平稳模型，且无需假设噪声恒定。
• 提出一种新颖的平滑性诱导先验作为正则化项，惩罚潜在空间中的非平滑重建。
• 使用随机梯度变分贝叶斯估计器训练模型，以优化变分下界。
• 采用两种决策标准进行异常检测：重建概率与重建误差。
• 将平滑性先验整合进VAE目标函数，促使模型即使在存在异常的情况下，也能学习到平滑的正常模式。

(a) inference model $q_{\phi}(\mathbf{z}|\mathbf{x})$

实验结果

研究问题

• RQ1 在异常污染的时间序列中，带有平滑性诱导先验的序列VAE是否能提升鲁棒密度估计？
• RQ2 与标准VAE相比，所提出的平滑性先验如何增强重建鲁棒性？
• RQ3 SISVAE模型是否在多维时间序列上优于当前最先进无监督异常检测方法？
• RQ4 该模型能否在真实世界与合成数据集中有效检测点级与子序列异常？
• RQ5 SISVAE在不同潜在维度设置与数据类型下的性能是否稳定？

主要发现

• SISVAE-p在SMD与NAB基准上表现优异，优于STORN与Donut等模型，在精确率与召回率上均更优。
• SISVAE-p的异常检测得分比其他模型更平滑，表明其对正常数据波动具有更好的鲁棒性。
• 在Mackey-Glass数据集上，SISVAE-p在ROC与PRC曲线上均优于Donut，尤其在子序列异常检测中表现更优。
• 平滑性先验使SISVAE能够在训练数据中存在异常时，更准确、更稳定地估计概率密度函数。
• SISVAE在不同潜在维度设置下表现稳定，而Donut的性能对z_dim的选择高度敏感。
• 在子序列异常检测中，SISVAE-p能成功识别大多数异常窗口，而STORN与Donut则存在较高的假阳性和假阴性率。

(b) generative model $p_{\theta}(\mathbf{x}|\mathbf{z})$