[論文レビュー] Anomaly Detection on IT Operation Series via Online Matrix Profile

Shi-Ying Lan, Run-Qing Chen+1 more|arXiv (Cornell University)|Aug 27, 2021

Anomaly Detection Techniques and Applications参考文献 29被引用数 6

ひとこと要約

本稿では、距離の有意性とスペクトル残差を活用してリアルタイムで異常を検出する、トレーニング不要な異常検知手法であるオンラインマトリクスプロファイル（OMP）を提案する。OMPは最小限の計算コストで最先端の精度を達成し、複数のKPIデータセットにおいてディープラーニングベースのモデルを速度とスケーラビリティの面で上回る。

ABSTRACT

Anomaly detection on time series is a fundamental task in monitoring the Key Performance Indicators (KPIs) of IT systems. Many of the existing approaches in the literature show good performance while requiring a lot of training resources. In this paper, the online matrix profile, which requires no training, is proposed to address this issue. The anomalies are detected by referring to the past subsequence that is the closest to the current one. The distance significance is introduced based on the online matrix profile, which demonstrates a prominent pattern when an anomaly occurs. Another training-free approach spectral residual is integrated into our approach to further enhance the detection accuracy. Moreover, the proposed approach is sped up by at least four times for long time series by the introduced cache strategy. In comparison to the existing approaches, the online matrix profile makes a good trade-off between accuracy and efficiency. More importantly, it is generic to various types of time series in the sense that it works without the constraint from any trained model.

研究の動機と目的

• 大規模ITオペレーションにおけるトレーニングベースの異常検知モデルに伴う高い計算コストと保守コストの課題に対処する。
• ラベル付きデータやモデル再トレーニングを必要とせず、数百ものKPI時系列に対してリアルタイムかつスケーラブルに異常検知を可能にする。
• マトリクスプロファイルに距離の有意性を導入することで、周期的でない、アテネーションが変化する、トレンドがずれる時系列における検知精度を向上させる。
• 効率的なキャッシュ戦略を用いて長時間系列の推論時間を短縮しつつ、検知性能を維持する。

提案手法

• 最近年の部分系列のみを保持することでマトリクスプロファイルをオンライン設定に適応させ、リアルタイム処理とトレンドドリフトへのロバスト性を実現する。
• 異常を検出するための主要な指標として距離の有意性を導入し、最近傍の部分系列と著しく異なる異常を検出可能にし、アテネーションの変化に対して不変となるようにする。
• スペクトル残差（SR）を補完的手段として統合し、とくに徐々に現れるか繰り返される異常パターンで距離の有意性が見逃す場合の異常検知を補完する。
• 以前に計算済みのマトリクスプロファイル値を再利用するキャッシュ戦略を適用することで、長時間系列の計算を高速化し、時間計算量を少なくとも4倍削減する。
• トレーニングを必要とせず、オンラインマトリクスプロファイルとスペクトル残差をハイブリッドフレームワークで統合することで、検知精度を向上させる。
• 距離計算に最も最近の部分系列ウィンドウのみを用いることで、再トレーニングなしにKPIのコンセプトドリフトに適応可能となる。

実験結果

リサーチクエスチョン

• RQ1 トレーニング不要なアプローチが、ラベル付きデータやモデル再トレーニングを必要とせずに多様なITオペレーション時系列で競争力のある異常検知精度を達成できるか。
• RQ2 距離の有意性を導入することで、元のマトリクスプロファイルと比較して、アテネーションの変化に対する異常検知のロバスト性がどの程度向上するか。
• RQ3 オンラインマトリクスプロファイルが異常を同定できない状況において、スペクトル残差の統合が検知性能をどの程度向上させるか。
• RQ4 提案されたキャッシュ戦略は、長時間系列における検知の高速化にどの程度効果的か。
• RQ5 実世界の監視シナリオにおいて、VAE、PAD、SR-CNNといった最先端のトレーニングベースのモデルと比較して、オンラインマトリクスプロファイルは効率性と精度の面でどの程度優れているか。

主な発見

• OMPは、PAD や SR-CNN といったディープラーニングモデルを含むすべての比較手法の中で、Yahooデータセットで最高のF1スコアを達成した。
• OMPは、インクリメンタルトレーニングのオーバーヘッドにより顕著な性能低下を示すOnline-VAE や Online-PAD よりも優れた性能を発揮した。
• PADのトレーニングコストは非常に高く（14,535.43秒）、一方でOMPはトレーニングを一切行わず、1データセットあたり10秒未満で推論を完了した。
• キャッシュ戦略により、長時間系列ではOMPの処理が少なくとも4倍高速化され、計算コストを顕著に削減しつつ、性能の損失は最小限に抑えられた。
• OMPは周期的でない時系列を含め、周期的・非周期的両方の時系列で異常を正常に検知でき、従来のマトリクスプロファイルが困難とする徐々に現れる異常や繰り返される異常に対しても効果を示した。
• スペクトル残差は、距離の有意性が低くても異常であるにもかかわらず見逃されがちな異常（図6(c)の3番目の異常など）を補完的に検知することができた。