[論文レビュー] VELC: A New Variational AutoEncoder Based Model for Time Series Anomaly Detection

Chunkai Zhang, Shaocong Li+2 more|arXiv (Cornell University)|Jul 3, 2019

Anomaly Detection Techniques and Applications参考文献 24被引用数 33

ひとこと要約

VELC は、再エンコーダと潜在空間の不一致を評価する2つの空間に跨って再構成を評価することで、時系列異常検知を改善する VAE を導入し、複数データセットでベースラインを上回る。

ABSTRACT

Anomaly detection is a classical but worthwhile problem, and many deep learning-based anomaly detection algorithms have been proposed, which can usually achieve better detection results than traditional methods. In view of reconstruct ability of the model and the calculation of anomaly score, this paper proposes a time series anomaly detection method based on Variational AutoEncoder model(VAE) with re-Encoder and Latent Constraint network(VELC). In order to modify reconstruct ability of the model to prevent it from reconstructing abnormal samples well, we add a constraint network in the latent space of the VAE to force it generate new latent variables that are similar with that of training samples. To be able to calculate anomaly score in two feature spaces, we train a re-encoder to transform the generated data to a new latent space. For better handling the time series, we use the LSTM as the encoder and decoder part of the VAE framework. Experimental results of several benchmarks show that our method outperforms state-of-the-art anomaly detection methods.

研究の動機と目的

• 高次元時系列の堅牢な教師なし異常検知の動機付け。
• 正常データの再構成精度を高めつつ、異常サンプルの再構成を制限するVAEベースのフレームワークを開発。
• 元の特徴空間と潜在特徴空間の両方で異常スコアリングを可能にし、検知精度を向上。
• 見せかけの異常への過度な一般化を防ぐため、潜在空間に制約ネットワークを組み込む。

提案手法

• VAE 内に bidirectional LSTM のエンコーダ／デコーダを用いて正常な時系列をモデル化。
• 再エンコーダを導入し、再構成データを新しい潜在空間へ写像して新しい潜在変数を生成。
• 潜在空間に制約ネットワークを追加し、正規の潜在ベクトルをスパースでコサイン類似度ベースの方式で結合して異常の再構成を制約。
• .L_VELC = L_rec_x + L_KL1 + L_lat + L_KL2 の多項ロスを定義し、正常データ上でモデルを訓練。
• anomaly score A(x) を再構成誤差と潜在空間の相異度の加重和として計算: A(x)=alpha||x−x'||1 + beta||z'−re_z'||1、[0,1] に正規化。
• 元の特徴空間と潜在空間の2つの特徴空間を活用した異常スコアリングで判別性を向上。

実験結果

リサーチクエスチョン

• RQ1 VELC フレームワークは多様な時系列データセットで最先端手法と比べて異常検知性能を改善するか。
• RQ2 再エンコーダと潜在制約ネットワークの組み込みが、正常サンプルと異常サンプルの再構成および潜在空間誤差にどのような影響を与えるか。
• RQ3 デュアルスペースの異常スコアリング（元の空間と潜在空間の両方）が単一空間のスコアリングよりより正確な検出をもたらすか。
• RQ4 異常スコアパラメータ設定（alpha, beta）の全体的な性能へ与える影響は何か。

主な発見

名称	OUR*	ANOGAN	ALAD	MLP-VAE	IForest
KDD99	0.958	0.887	0.950	0.622	0.929
Arrhythmia	0.789	0.576	0.648	0.747	0.530
ItalyPowerDemand	0.807	0.516	0.538	0.768	0.763
TwoLeadECG	0.948	0.554	0.515	0.731	0.760
GunPointAgeSpan	0.844	0.515	0.547	0.821	0.612
MoteStrain	0.801	0.746	0.504	0.750	0.762
ToeSegmentation2	0.835	0.547	0.544	0.816	0.787
Herring	0.722	0.488	0.569	0.627	0.698
Wafer	0.967	0.558	0.587	0.790	0.847
ECGFiveDays	0.988	0.970	0.694	0.910	0.678

• VELC は十データセットを通じていくつかのベースライン（AnoGAN、ALAD、MLP-VAE、Isolation Forest）を上回る。
• KDD99 では VELC が AUC 0.958 を達成し、次点の方法ANOGAN の 0.887 を上回る。
• データセット全体で、VELC はおおよそ相対的に 1%–5% の効果向上を示す。
• α=0.6, β=0.4 の設定付近の異常スコアパラメータが平均性能を高める。
• 潜在空間の制約は unseen 異常の過剰再構成を抑え、検出の堅牢性を向上させるのに役立つ。
• 可視化は正常サンプルが滑らかに再構成され、異常は再構成と潜在空間の不一致が大きくなることを示す。