[論文レビュー] RSM-GAN: A Convolutional Recurrent GAN for Anomaly Detection in Contaminated Seasonal Multivariate Time Series

Farzaneh Khoshnevisan, Zhewen Fan|arXiv (Cornell University)|Nov 16, 2019

Anomaly Detection Techniques and Applications参考文献 18被引用数 8

ひとこと要約

RSM-GAN は、滑らかな注目メカニズムを用いて複雑な周期性をモデル化し、補助エンコーダーを介して汚染された訓練データに対処する、多変量時系列異常検出のための新規な畳み込み再帰的 GAN アーキテクチャである。実世界および合成データにおいて、それぞれ 30% および 16% の高い精度を達成し、因果推論フレームワークを用いて正確な原因特定を可能にする。

ABSTRACT

Robust anomaly detection is a requirement for monitoring complex modern systems with applications such as cyber-security, fraud prevention, and maintenance. These systems generate multiple correlated time series that are highly seasonal and noisy. This paper presents a novel unsupervised deep learning architecture for multivariate time series anomaly detection, called Robust Seasonal Multivariate Generative Adversarial Network (RSM-GAN). It extends recent advancements in GANs with adoption of convolutional-LSTM layers and an attention mechanism to produce state-of-the-art performance. We conduct extensive experiments to demonstrate the strength of our architecture in adjusting for complex seasonality patterns and handling severe levels of training data contamination. We also propose a novel anomaly score assignment and causal inference framework. We compare RSM-GAN with existing classical and deep-learning based anomaly detection models, and the results show that our architecture is associated with the lowest false positive rate and improves precision by 30% and 16% in real-world and synthetic data, respectively. Furthermore, we report the superiority of RSM-GAN regarding accurate root cause identification and NAB scores in all data settings.

研究の動機と目的

• 複雑で重複する季節的パターンを有する多変量時系列における異常検出の課題に対処すること。
• 実世界のシステムに一般的に見られる深刻な訓練データの汚染に対する耐性を向上させること。
• 因果推論フレームワークを用いて、単なる異常フラグの付与を越えて、正確な原因特定を可能にすること。
• 時空間的依存関係をモデル化することで、画像から多変量時系列への GAN ベースの異常検出を拡張すること。
• リアルタイムで複雑なシステム監視において、高い精度と低い偽陽性率を達成すること。

提案手法

• CNN 処理に適した画像風の表現を可能にするために、生の多変量時系列をマルチチャネル相関行列に変換する。
• 相関行列内の空間的相関と時間的依存関係を同時にモデル化するため、畳み込み-LSTM アーキテクチャを採用する。
• 複数の重複する季節的パターン（例：日次、週次、休日効果）を明示的にモデル化するための新規な滑らかな注目メカニズムを導入する。
• 安定した学習と高速収束を実現するため、勾配ペナルティ付きのワサーライン GAN を使用する。
• 汚染された訓練データにおける正常パターンと異常を分離するため、補助エンコーダーを統合する。
• 残差相関行列を用いたスコアリングおよび因果推論フレームワークを提案し、異常スコアの割り当てと原因の同定を実現する。

実験結果

リサーチクエスチョン

• RQ1 GAN ベースのアーキテクチャは、複雑で重複する季節的パターンを有する多変量時系列における異常検出を効果的に実行できるか？
• RQ2 異常が訓練セットに含まれるような深刻な訓練データの汚染下でも、RSM-GAN はどのように性能を発揮するか？
• RQ3 提案された注目メカニズムは、実世界の時系列における複数の季節的成分（例：日次、週次、休日効果）を正確にモデル化できるか？
• RQ4 因果推論フレームワークの統合により、標準的な異常検出モデルと比較して原因特定の精度が向上するか？
• RQ5 多様なデータ設定において、RSM-GAN は最先端のモデルと比較して、精度、F1 スコア、NAB スコアの観点で優れた性能を示すか？

主な発見

• 実世界の暗号鍵データにおいて、RSM-GAN は最良のベースライン（MSCRED）と比較して、30% の精度向上を達成した。
• 合成データにおいて、RSM-GAN は次に優れたモデル（MSCRED）と比較して、16% の精度向上を示し、汚染および季節性に強いことを実証した。
• 汚染された合成データにおいて、RSM-GAN は 0.0010 の偽陽性率（FPR）を達成し、Isolation Forest（0.0033）と OC-SVM（0.0038）を著しく上回った。
• 休日が存在する状況では、RSM-GAN は休日の影響を正しく反映したが、OC-SVM や Isolation Forest などのベースラインモデルは、休日を無知のままにしたため、誤って休日を異常と特定した。
• 合成データでは NAB スコア 0.8986、実世界データでは 0.2992 を達成し、すべてのベースラインを上回った。これは、優れた異常検出品質を示している。
• 合成データでは 78.7% の原因特定再現率、実世界データでは 50.93% を達成し、MSCRED（それぞれ 66.00% および 47.09%）を著しく上回った。これは、診断能力の向上を示している。