[論文レビュー] NVAE-GAN Based Approach for Unsupervised Time Series Anomaly Detection

Liang Xu, Liying Zheng+7 more|arXiv (Cornell University)|Jan 8, 2021

Anomaly Detection Techniques and Applications参考文献 15被引用数 7

ひとこと要約

本稿では、1次元の時系列データを2次元の画像に変換することで時間的特徴抽出を強化し、深層階層的VAE（NVAE）を用いて再構成性能を向上させるとともに、GANベースの学習戦略を統合して過学習を低減する、教師なし時系列異常検知モデルT2IVAEを提案する。本モデルは、NABでF1スコア0.639、NASAで0.651、実世界のデータセットで0.504を達成し、DONUT や TADGAN といった既存手法を上回る性能を示した。

ABSTRACT

In recent studies, Lots of work has been done to solve time series anomaly detection by applying Variational Auto-Encoders (VAEs). Time series anomaly detection is a very common but challenging task in many industries, which plays an important role in network monitoring, facility maintenance, information security, and so on. However, it is very difficult to detect anomalies in time series with high accuracy, due to noisy data collected from real world, and complicated abnormal patterns. From recent studies, we are inspired by Nouveau VAE (NVAE) and propose our anomaly detection model: Time series to Image VAE (T2IVAE), an unsupervised model based on NVAE for univariate series, transforming 1D time series to 2D image as input, and adopting the reconstruction error to detect anomalies. Besides, we also apply the Generative Adversarial Networks based techniques to T2IVAE training strategy, aiming to reduce the overfitting. We evaluate our model performance on three datasets, and compare it with other several popular models using F1 score. T2IVAE achieves 0.639 on Numenta Anomaly Benchmark, 0.651 on public dataset from NASA, and 0.504 on our dataset collected from real-world scenario, outperforms other comparison models.

研究の動機と目的

• ノイズが多く、複雑で不均衡なデータを含む実世界の状況における教師なし時系列異常検知の課題に対処すること。
• 1次元時系列データの時間的相関の特徴表現を強化することで、再構成性能と異常検知精度を向上させること。
• 低データ環境におけるモデルの過学習を軽減するため、変分自己オートエンコーダ（VAE）フレームワークに生成対抗ネットワーク（GAN）の学習戦略を統合すること。
• 公的ベンチマーク（NAB、NASA）および実世界の産業データセットを含む多様なデータセットにおいて、モデルの有効性を評価すること。

提案手法

• 1次元の1変量時系列を、時間的依存性や相関関係をよりよく捉えるために2次元画像表現に変換すること。
• NVAEに基づく深層階層的変分自己オートエンコーダ（VAE）を採用し、複数の潜在変数サンプリングレベルを用いて複雑でマルチスケールな時間的パターンをモデル化すること。
• 再構成誤差を主な異常スコア指標として用い、誤差が大きいほど異常と判定する。
• 最終段階の学習エポックにおいて、学習の安定化と過学習の低減を目的にGANベースの学習戦略を導入すること。
• 再構成誤差の分布に基づいて、適応的しきい値を設定して異常境界を決定すること。
• ラベル付き異常例を一切必要としない、エンドツーエンドの教師なし学習でモデルを訓練すること。

実験結果

リサーチクエスチョン

• RQ1 1次元時系列を2次元画像に変換することで、異常検知における時間的相関の表現が向上するか？
• RQ2 階層的VAEアーキテクチャ（NVAE）を採用することで、標準的なVAEと比較して再構成性能と異常検知性能が向上するか？
• RQ3 GANベースの学習戦略は、教師なし時系列異常検知における過学習を効果的に低減し、一般化性能を向上させることができるか？
• RQ4 T2IVAEは、DONUT や TADGAN といった最先端モデルと比較して、多様な実世界およびベンチマークデータセットにおいて優れた性能を示すか？

主な発見

• T2IVAEは、Numenta異常ベンチマーク（NAB）でF1スコア0.639を達成し、他の比較モデルを上回った。
• NASAの公的データセットでは、F1スコア0.651を記録し、全モデル中で2番目に高い性能を示した。TADGANに次いで優れた結果であった。
• 産業用ネットワークスイッチから収集した実世界のデータセットでは、GAN学習を適用したT2IVAE_GANがF1スコア0.504を達成し、Luminol、DONUT、TADGANを上回った。
• GANファインチューニング戦略は、ベンチマークおよび実世界の両方のデータセットで性能向上をもたらし、過学習低減の有効性を裏付けた。
• 2次元画像変換、階層的VAE構造、GAN学習の組み合わせにより、標準的なVAEおよびオートエンコーダベースラインと比較して一貫した性能向上が得られた。
• T2IVAEは多様なデータ分布に強く、ラベル付き異常データが乏しく、パターンが複雑な実世界データにおいて優れた性能を示した。