[論文レビュー] Deep Generative model with Hierarchical Latent Factors for Time Series Anomaly Detection

Cristian Challú, Peihong Jiang+2 more|arXiv (Cornell University)|Feb 15, 2022

Anomaly Detection Techniques and Applications被引用数 9

ひとこと要約

本稿では、階層的潜在空間とトップダウン型ConvNetを用いて時系列ウィンドウを効率的に再構築する、多変量時系列異常検出のための深層生成モデルDGHLを提案する。交互にバックプロパゲーションとショートランMCMCを用いて訓練され、RNNベースのモデルと比較して最大10倍高速な学習を達成するとともに、欠損データ（最大90％欠損）や変動する特徴量に対しても優れた耐性を示し、4つのベンチマークデータセットにおいてSOTAを上回る性能を発揮する。

ABSTRACT

Multivariate time series anomaly detection has become an active area of research in recent years, with Deep Learning models outperforming previous approaches on benchmark datasets. Among reconstruction-based models, most previous work has focused on Variational Autoencoders and Generative Adversarial Networks. This work presents DGHL, a new family of generative models for time series anomaly detection, trained by maximizing the observed likelihood by posterior sampling and alternating back-propagation. A top-down Convolution Network maps a novel hierarchical latent space to time series windows, exploiting temporal dynamics to encode information efficiently. Despite relying on posterior sampling, it is computationally more efficient than current approaches, with up to 10x shorter training times than RNN based models. Our method outperformed current state-of-the-art models on four popular benchmark datasets. Finally, DGHL is robust to variable features between entities and accurate even with large proportions of missing values, settings with increasing relevance with the advent of IoT. We demonstrate the superior robustness of DGHL with novel occlusion experiments in this literature. Our code is available at https://github.com/cchallu/dghl.

研究の動機と目的

• IoTシステムに一般的に見られる欠損データや変動する特徴量の処理に課題を抱える既存の再構築ベースのモデルの限界を克服すること。
• エンコーダーや識別器などの補助ネットワークに依存しない、計算効率の高い生成モデルを、多変量時系列異常検出のための開発すること。
• センサーエラーまたは異種のデータソースなど、現実的なデータ劣化状況下でもモデルの頑健性と性能を向上させること。
• 再現可能でオープンソースの実装を提供し、時系列異常検出分野におけるベンチマークとさらなる研究を促進すること。

提案手法

• 各レベルlにおける潜在ベクトルがa_l個の連続する部分ウィンドウに共有される、新たな階層的潜在空間を提案。これにより、時間的ダイナミクスの効率的符号化が可能となる。
• 空間的および時間的構造を活用するトップダウン型ConvNetを生成器として採用。階層的潜在要因を時系列ウィンドウにマッピングする。
• 別個の推論ネットワークを必要とせず、交互にバックプロパゲーションにより観測尤度を最大化することでモデルを訓練。
• 潜在変数の事後分布サンプリングにショートランMCMCを用い、補助ネットワークを一切不要とするエンドツーエンドの訓練を実現。
• 再構築品質と異常検出性能を直接最適化する尤度に基づく訓練目的関数を導入。
• 階層的要因分解により長期的な時間的依存関係を学習することで、長期間の再構築および予測が可能となる。

実験結果

リサーチクエスチョン

• RQ1 階層的潜在空間を備えた深層生成モデルは、学習時間を短縮しつつ、多変量時系列異常検出でSOTAの性能を達成できるか？
• RQ2 IoTシステムで一般的な欠損値や変動する特徴量といった現実的なデータ状態下で、モデルはどのように性能を発揮するか？
• RQ3 提案された階層的潜在表現は、平坦なまたは非階層的な潜在空間と比較して、再構築品質と異常検出精度を向上させられるか？
• RQ4 エンコーダーや識別器などの補助ネットワークを一切使用せず、尤度最大化に依存する学習のみで、モデルは高い性能を維持できるか？
• RQ5 分布外または外挿された時系列ウィンドウへの一般化性能は、学習された表現の質を示すか？

主な発見

• DGHLは、SMDやNABを含む4つの代表的ベンチマークデータセットにおいて、AUCおよびF1スコアの両面で現在のSOTAモデルを上回る一貫した改善を達成した。
• RNNベースのモデルと比較して最大10倍高速な学習を達成した。MCMCサンプリングを用いているにもかかわらず、計算効率の高さが顕著に示された。
• 入力値の最大90％が欠損している状況でも、SOTAの性能を維持した。データ劣化に対する優れた耐性を示した。
• アブレーションスタディの結果、階層的潜在空間と交互バックプロパゲーションの両方が、性能向上に相乗効果をもたらしていることが確認された。
• 定性的な分析から、潜在表現が連続性と外挿能力を示しており、補間や外挿による意味のある時系列生成が可能であることが明らかになった。
• モデルは予測タスクに対しても効果的に再利用可能であり、時系列学習の目的に応じた柔軟性を示した。