[論文レビュー] Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder

Long-yuan Li, Junchi Yan+2 more|arXiv (Cornell University)|Feb 2, 2021

Anomaly Detection Techniques and Applications被引用数 16

ひとこと要約

本稿では、多次元時系列における頑健な異常検出を目的として、滑らかさを誘導する逐次変分オートエンコーダー（SISVAE）を提案する。VAEフレームワークに時間的滑らかさの事前分布を正則化項として組み込むことで、密度推定と再構成の頑健性が向上し、合成データおよび実世界のベンチマークにおいて、点レベルおよび部分シーケンス異常を低誤検出・低見逃しで処理する点で、最先端の手法を上回る性能を発揮する。

ABSTRACT

Deep generative models have demonstrated their effectiveness in learning latent representation and modeling complex dependencies of time series. In this paper, we present a Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) model for robust estimation and anomaly detection of multi-dimensional time series. Our model is based on Variational Auto-Encoder (VAE), and its backbone is fulfilled by a Recurrent Neural Network to capture latent temporal structures of time series for both generative model and inference model. Specifically, our model parameterizes mean and variance for each time-stamp with flexible neural networks, resulting in a non-stationary model that can work without the assumption of constant noise as commonly made by existing Markov models. However, such a flexibility may cause the model fragile to anomalies. To achieve robust density estimation which can also benefit detection tasks, we propose a smoothness-inducing prior over possible estimations. The proposed prior works as a regularizer that places penalty at non-smooth reconstructions. Our model is learned efficiently with a novel stochastic gradient variational Bayes estimator. In particular, we study two decision criteria for anomaly detection: reconstruction probability and reconstruction error. We show the effectiveness of our model on both synthetic datasets and public real-world benchmarks.

研究の動機と目的

• 異常が混入した多次元時系列における頑健な密度推定の課題に対処すること。
• 時間的連続性と正常パターンをより効果的にモデル化することで、異常検出性能を向上させること。
• 時間経過に伴い定常でないノイズを仮定しない柔軟な非定常生成モデルを開発すること。
• 非滑らかさを抑える正則化項としての滑らかさ誘導事前分布を組み込み、再構成の頑健性を向上させること。
• 実世界および合成データセットを用いた点レベルおよび部分シーケンス異常検出タスクにおいて、モデルを評価すること。

提案手法

• 時間系列の時間的依存性を捉えるために、推論ネットワークおよび生成ネットワークの両方で再帰的ニューラルネットワーク（RNN）をバックボーンとして用いる。
• 各時刻における潜在分布の平均および分散を、柔軟なニューラルネットワークを用いてパrameter化することで、定常でないモデルを実現し、一定のノイズを仮定しない。
• 非滑らかさを抑えるために、新たな滑らかさ誘導事前分布を導入し、潜在空間における非滑らか再構成をペナルティ化する。
• 変分下界を最適化するために、確率的勾配変分ベイズ推定器を用いてモデルを学習する。
• 異常検出には、再構成確率および再構成誤差の2つの意思決定基準を用いる。
• 滑らかさ事前分布をVAEの目的関数に統合し、異常が存在する中でも滑らかで正常なパターンを学習できるようにする。

(a) inference model $q_{\phi}(\mathbf{z}|\mathbf{x})$

実験結果

リサーチクエスチョン

• RQ1 滑らかさ誘導事前分布を備えた逐次VAEは、異常が混入した時系列における頑健な密度推定を改善できるか？
• RQ2 提案された滑らかさ事前分布は、標準的なVAEと比較して再構成の頑健性をどのように向上させるか？
• RQ3 SISVAEモデルは、多次元時系列における最先端の非教師あり異常検出手法を上回る性能を発揮するか？
• RQ4 本モデルは、実世界および合成データセットにおける点レベルおよび部分シーケンス異常を効果的に検出できるか？
• RQ5 SISVAEの性能は、異なる潜在次元設定およびデータタイプにおいても安定しているか？

主な発見

• SISVAE-pはSMDおよびNABベンチマークで優れた性能を発揮し、STORNやDonutなどのモデルを精度および再現率の両面で上回る。
• SISVAE-pの異常検出スコアは、他のモデルと比較して滑らかであることが示され、正常なデータの変動に対してより頑健であることが裏付けられる。
• Mackey-Glassデータセットでは、SISVAE-pがROCおよびPRC曲線の両方でDonutを上回り、特に部分シーケンス異常検出において顕著な優位性を示す。
• 滑らかさ事前分布のおかげで、SISVAEは異常が学習データに含まれる状況でも、より正確で安定した確率密度関数を推定できる。
• SISVAEは、さまざまな潜在次元設定において安定した性能を示すが、Donutの性能はz_dimの選定に極めて敏感である。
• 部分シーケンス異常検出において、SISVAE-pは大多数の異常ウィンドウを正しく同定できる一方、STORNやDonutは高い偽陽性および偽陰性率を示す。

(b) generative model $p_{\theta}(\mathbf{x}|\mathbf{z})$