[論文レビュー] Memory-augmented Adversarial Autoencoders for Multivariate Time-series Anomaly Detection with Deep Reconstruction and Prediction

Qinfeng Xiao, Shikuan Shao+1 more|arXiv (Cornell University)|Oct 15, 2021

Anomaly Detection Techniques and Applications参考文献 45被引用数 7

ひとこと要約

本論文では、正常パターンの保持のためのメモリモジュールと二重予測・再構成学習目的を組み合わせた、敵対的オートエンコーダーと組みわせた新規の非教師あり多変量時系列異常検出モデルMemAAEを提案する。再構成と双方向予測を同時に最適化しつつ、再構成をメモリバンクからのみ正常パターンに制限することで、4つの公開データセットでF1スコア0.90を達成し、最先端のベースラインを0.02上回る。

ABSTRACT

Detecting anomalies for multivariate time-series without manual supervision continues a challenging problem due to the increased scale of dimensions and complexity of today's IT monitoring systems. Recent progress of unsupervised time-series anomaly detection mainly use deep autoencoders to solve this problem, i.e. training on normal samples and producing significant reconstruction error on abnormal inputs. However, in practice, autoencoders can reconstruct anomalies so well, due to powerful capabilites of neural networks. Besides, these approaches can be ineffective for identifying non-point anomalies, e.g. contextual anomalies and collective anomalies, since they solely utilze a point-wise reconstruction objective. To tackle the above issues, we propose MemAAE ( extit{Memory-augmented Adversarial Autoencoders with Deep Reconstruction and Prediction}), a novel unsupervised anomaly detection method for time-series. By jointly training two complementary proxy tasks, reconstruction and prediction, with a shared network architecture, we show that detecting anomalies via multiple tasks obtains superior performance rather than single-task training. Additionally, a compressive memory module is introduced to preserve normal patterns, avoiding unexpected generalization on abnormal inputs. Through extensive experiments, MemAAE achieves an overall F1 score of 0.90 on four public datasets, significantly outperforming the best baseline by 0.02.

研究の動機と目的

• 複雑で高次元な監視システムにおける非教師あり多変量時系列異常検出の課題に対処すること。
• 点ごとの再構成誤差に依存する標準的なオートエンコーダーが、文脈的・集合的異常を検出できないという限界を克服すること。
• 特に訓練データに異常が混入している場合に、オートエンコーダーが異常サンプルに対して不測の一般化を示すのを軽減すること。
• 時系列的文脈を活用する補助的な予測タスクを導入することで、局所的および文脈的異常の検出を向上させること。
• 圧縮メモリモジュールを用いて正常多様体を明示的に符号化することで、耐性および正常性モデリングを強化すること。

提案手法

• 正常時系列パターンの堅牢で分離可能な表現を学ぶために、再構成目的を備えた敵対的オートエンコーダー（AAE）を採用する。
• 将来および過去の時系列ステップを予測する双方向予測ヘッドを導入し、局所的および文脈的異常に対する感度を向上させる。
• 学習済みの正常パターンをベクトルの辞書として格納するメモリモジュールを実装し、再構成を正常ベクトルの線形結合に制限する。
• エンコーダー内で微分可能かつ注意機構を用いてメモリスロット上の注意重みを計算し、再構成に適切な正常パターンを動的に選択可能にする。
• 再構成誤差、予測誤差、敵対的誤差を組み合わせたマルチタスク損失を用いて、表現品質を向上させるために同時に学習する。
• 定期的に古いまたは代表的でないメモリベクトルを正常サンプルからの新しい符号化特徴で置き換えるメモリ更新メカニズムを適用し、コンパクトで最新の正常性モデルを維持する。

実験結果

リサーチクエスチョン

• RQ1 再構成タスクのみに特化したモデルと比較して、再構成と予測の両方を同時に学習させることで、文脈的・集合的異常の検出性能が向上するか？
• RQ2 正常多様体を明示的に符号化するメモリモジュールは、異常パターンへの過剰適合を低減させ、未観測の異常に対する一般化性能を向上させるか？
• RQ3 双方向予測の導入により、値の変動が著しくないが時系列パターンを破壊する局所的異常の検出性能がどのように向上するか？
• RQ4 予測ステップサイズ、メモリサイズ、予測重み付けなどのハイパーパrameterが、多様なデータセットにおけるモデル性能に与える影響は何か？
• RQ5 完全に非教師あり学習設定において、異常が混入している状況でも、メモリ拡張設計が性能低下をどの程度軽減できるか？

主な発見

• MemAAEは4つの公開多変量時系列データセット全体でF1スコア0.90を達成し、最良のベースラインを0.02上回った。
• アブレーションスタディの結果、メモリモジュールまたは予測モジュールのいずれかを削除すると顕著な性能低下が生じ、両モジュールが極めて重要な役割を果たしていることが確認された。
• メモリモジュールにより、異常サンプルの再構成が防止され、偽陰性が減少した。これは、再構成が学習済みの正常パターンに制限されているためである。
• 予測モジュールにより、再構成誤差だけでは捉えきれない局所的および文脈的異常の検出性能が向上した。特にSMAPおよびSWaTのようなデータセットで顕著であった。
• 一部のデータセット（例：SMAPおよびSWaT）では、予測重みの設定に敏感に反応するため、実験的ハイパーパrameterチューニングの必要性が示された。
• 最適なメモリサイズはデータセットごとに異なる。過剰なメモリサイズは性能を低下させる（例：SWaT）ことがあり、カバレッジと表現の忠実度の間のトレードオフが存在することが示唆された。