[論文レビュー] A Joint Model for Anomaly Detection and Trend Prediction on IT Operation Series

Run-Qing Chen, Guanghui Shi+2 more|arXiv (Cornell University)|Oct 9, 2019

Network Security and Intrusion Detection被引用数 4

ひとこと要約

本稿では、ITオペレーション時系列における異常検出とトレンド予測を同時に実行する、変分オートエンコーダ（VAE）と長短期記憶（LSTM）ネットワークを統合したジョイントモデルADTPを提案する。VAEによって再構築されたクリーンな時系列をLSTMの入力として使用することで、ノイズに強く、長期的なパターンを捉えることができ、異常検出および予測性能の両方を向上させる。本手法は2つのベンチマークデータセットを用いた検証で有効性が確認された。

ABSTRACT

Anomaly detection and trend prediction are two fundamental tasks in automatic IT systems monitoring. In this paper, a joint model Anomaly Detector & Trend Predictor (ADTP) is proposed. In our design, the variational auto-encoder (VAE) and long short-term memory (LSTM) are joined together to address both anomaly detection and trend prediction. The prediction block (LSTM) takes clean input from the reconstructed time series by VAE, which makes it robust to the anomalies and noise. In the meantime, the LSTM block maintains the long-term sequential patterns, which are out of the sight of a VAE encoding window. This leads to the better performance of VAE in anomaly detection than it is trained alone. In the whole processing pipeline, the spectral residual analysis is integrated with VAE and LSTM to boost the performance of both. The superior performance on two tasks is confirmed with the experiments on two challenging evaluation benchmarks.

研究の動機と目的

• ITオペレーション監視システムにおける異常検出とトレンド予測の二重的課題に対処すること。
• 単独のVAEが長期依存関係を捉えることやノイズの多いデータに対処することにおける限界を克服すること。
• スペクトル残差解析を深層学習部品と統合することで、予測精度と異常検出性能を向上させること。
• 再構築品質と順序付きモデリングの両方を活用する統合フレームワークを構築すること。

提案手法

• 入力時系列を再構築し、ノイズや異常をフィルタリングするため、変分オートエンコーダ（VAE）を用いる。
• VAEによって再構築されたクリーンな時系列をLSTMネットワークに供給し、長期的な時系列依存関係をモデル化し、トレンド予測を可能にする。
• パイプラインにスペクトル残差分析を統合することで、異常に対する感度を高め、再構築品質を改善する。
• VAEとLSTMの両コンponentを同時に学習させ、異常検出および予測の両目的を最適化する。
• VAEの再構築時系列をLSTMの入力として使用することで、予測ブロックがノイズの少ない安定したデータ上で動作することを保証する。
• VAE（表現学習とノイズ除去）とLSTM（順序付きモデリング）の相補的な強みを統合されたアーキテクチャで活用する。

実験結果

リサーチクエスチョン

• RQ1 ジョイントモデルは、ITオペレーション時系列における異常検出とトレンド予測を効果的に行えるか？
• RQ2 VAEによって再構築された時系列をLSTMに供給することで、ノイズや異常がある状況下でも予測のロバスト性と正確性が向上するか？
• RQ3 スペクトル残差分析を統合することで、ジョイントモデルの性能がどの程度向上するか？
• RQ4 VAEとLSTMを同時に学習させることで、VAEを単独で学習させた場合よりも優れた異常検出性能が得られるか？

主な発見

• ジョイントADTPモデルは、ベースラインモデルと比較して、異常検出およびトレンド予測の両タスクで優れた性能を達成した。
• VAEによって再構築された時系列をLSTMの入力として使用することで、ノイズや異常による影響を軽減し、予測のロバスト性と正確性が向上した。
• スペクトル残差分析の統合により、モデルの異常に対する感度が向上し、検出性能が改善された。
• ADTPフレームワーク内でのVAEは、孤立して学習させた場合よりも優れた異常検出性能を示した。これは、よりクリーンで長期的認識に優れた時系列上で再構築品質が向上したためである。
• 本モデルは2つの挑戦的な実世界のITオペレーションベンチマークで優れた一般化性能を示し、実用的な監視シナリオにおける有効性を確認した。