[論文レビュー] StackVAE-G: An efficient and interpretable model for time series anomaly detection

Wenkai Li, Wenbo Hu+3 more|arXiv (Cornell University)|May 18, 2021

Anomaly Detection Techniques and Applications参考文献 27被引用数 4

ひとこと要約

本稿では、効率的で解釈可能な多次元時系列異常検出を実現するため、グラフニューラルネットワークを組み合わせた新しい変分オートエンコーダー、StackVAE-Gを提案する。重み共有のブロック単位再構成と学習可能なスパースグラフ構造を組み合わせることで、計算コストを低減しつつ高い検出精度を維持し、学習されたチャネル間関係を用いて解釈可能な故障診断を可能にする。

ABSTRACT

Recent studies have shown that autoencoder-based models can achieve superior performance on anomaly detection tasks due to their excellent ability to fit complex data in an unsupervised manner. In this work, we propose a novel autoencoder-based model, named StackVAE-G that can significantly bring the efficiency and interpretability to multivariate time series anomaly detection. Specifically, we utilize the similarities across the time series channels by the stacking block-wise reconstruction with a weight-sharing scheme to reduce the size of learned models and also relieve the overfitting to unknown noises in the training data. We also leverage a graph learning module to learn a sparse adjacency matrix to explicitly capture the stable interrelation structure among multiple time series channels for the interpretable pattern reconstruction of interrelated channels. Combining these two modules, we introduce the stacking block-wise VAE (variational autoencoder) with GNN (graph neural network) model for multivariate time series anomaly detection. We conduct extensive experiments on three commonly used public datasets, showing that our model achieves comparable (even better) performance with the state-of-the-art modelsand meanwhile requires much less computation and memory cost. Furthermore, we demonstrate that the adjacency matrix learned by our model accurately captures the interrelation among multiple channels, and can provide valuable information for failure diagnosis applications.

研究の動機と目的

• 多次元時系列におけるオートエンコーダー基盤の異常検出モデルの非効率性と解釈不能性を解決すること。
• ブロック単位再構成における重み共有を活用してチャネル間の類似性を活用することで、モデルの複雑さと過学習を低減すること。
• 時系列チャネル間の安定した関係構造を捉えることで、再構成精度の向上と故障診断の可能性を高めること。
• エッジデバイスなどのリソース制約環境での導入に適した、メモリおよび計算コストに優れたモデルを開発すること。
• 学習された意味的でスパースな隣接行列を用いて、解釈可能な異常診断を可能にすること。

提案手法

• 複数の時系列ステップを1回のフォワードパスで再構成するため、変分オートエンコーダー（VAE）を用いたスタッキング型ブロック単位再構成フレームワークを実装する。
• 時系列ブロック間で重み共有を適用することで、モデルパラメータを削減し、訓練データのノイズへの過学習を軽減する。
• 時系列チャネル間の安定した関係構造を表すスパース隣接行列を学習するため、グラフニューラルネットワーク（GNN）モジュールを統合する。
• GNNがデータから意味的で解釈可能なグラフ構造を学習するように導くため、グラフ学習損失関数（L_Graph）を導入する。
• 再構成損失とグラフ学習損失の両方を用いて、エンドツーエンドでモデルを訓練し、再構成品質と構造的一致性を同時に最適化する。
• 学習された隣接行列を用いて、各時系列の近隣チャネルを特定し、解釈可能な異常診断を可能にする。

実験結果

リサーチクエスチョン

• RQ1 重み共有を用いたブロック単位再構成は、異常検出性能を損なわずにモデルの複雑さを低減し、効率を向上させることができるか？
• RQ2 学習可能なスパースグラフ構造は、再構成精度と解釈可能性を向上させるために、多次元時系列チャネル間の安定した関係を効果的に捉えることができるか？
• RQ3 グラフ学習損失の統合により、教師なしまたは事前学習済みグラフ手法と比較して、より解釈可能で正確な隣接行列が得られるか？
• RQ4 標準ベンチマーク上での検出性能、推論コスト、メモリ使用量の観点から、StackVAE-Gは最先端モデルと比較して優れているか？
• RQ5 学習されたグラフ構造は、単一チャネルセンサーの誤差と複数チャネルのシステム的障害を区別できる意味のある故障診断を支援できるか？

主な発見

• StackVAE-Gは、SMD、SMAP、MSLの3つのベンチマークデータセットにおいて、最先端または同等の異常検出性能を達成しており、いくつかのサブセットで高いF1スコアを記録した。
• 従来のオートエンコーダー基盤モデルと比較して、計算コストおよびメモリコストを顕著に低減しており、エッジデバイスへの展開に適している。
• グラフ学習損失は、意味的で解釈可能な隣接行列を学習するために不可欠である。これがないと、モデルは真のチャネル関係を捉えることができない。
• 可視化による検証とアブレーションスタディーを通じて、学習された隣接行列がチャネル間の真の関係構造を正確に反映していることが確認された。
• モデルは解釈可能な故障診断を可能にする：複数の近隣チャネルが同時に逸脱した場合にシステム的異常を検出でき、一方で1つのチャネルのみが異常な場合はセンサー誤差として特定できる。
• アブレーションスタディーにより、グラフ学習損失を削除すると、解釈不能なグラフ構造が得られることが確認され、本手法の損失関数が信頼性のある構造学習に不可欠であることが示された。