[論文レビュー] Learning Graph Structures with Transformer for Multivariate Time Series Anomaly Detection in IoT

Zekai Chen, Dingshuo Chen+3 more|arXiv (Cornell University)|Apr 8, 2021

Anomaly Detection Techniques and Applications参考文献 47被引用数 507

ひとこと要約

本稿では、IoTセンサー間の動的グラフ構造を自動で学習することで、多次元時系列異常検出を向上させるTransformerベースのフレームワークGTAを提案する。微分可能Gumbel-softmaxに基づく接続学習方針、新規の感染伝播グラフ畳み込み、およびマルチブランチアテンション機構を用いることで、4つのベンチマークデータセットにおいて最先端の性能を達成し、従来手法に比べて効率性と正確性が向上した。

ABSTRACT

Many real-world IoT systems, which include a variety of internet-connected sensory devices, produce substantial amounts of multivariate time series data. Meanwhile, vital IoT infrastructures like smart power grids and water distribution networks are frequently targeted by cyber-attacks, making anomaly detection an important study topic. Modeling such relatedness is, nevertheless, unavoidable for any efficient and effective anomaly detection system, given the intricate topological and nonlinear connections that are originally unknown among sensors. Furthermore, detecting anomalies in multivariate time series is difficult due to their temporal dependency and stochasticity. This paper presented GTA, a new framework for multivariate time series anomaly detection that involves automatically learning a graph structure, graph convolution, and modeling temporal dependency using a Transformer-based architecture. The connection learning policy, which is based on the Gumbel-softmax sampling approach to learn bi-directed links among sensors directly, is at the heart of learning graph structure. To describe the anomaly information flow between network nodes, we introduced a new graph convolution called Influence Propagation convolution. In addition, to tackle the quadratic complexity barrier, we suggested a multi-branch attention mechanism to replace the original multi-head self-attention method. Extensive experiments on four publicly available anomaly detection benchmarks further demonstrate the superiority of our approach over alternative state-of-the-arts. Codes are available at https://github.com/ZEKAICHEN/GTA.

研究の動機と目的

• 未知で複雑かつ非線形的なセンサー依存関係を有する多次元IoT時系列における異常検出の課題に対処すること。
• 高次元センサー時系列における従来のグラフ学習およびアテンション機構の2次関数的複雑性を克服すること。
• 時系列依存関係とセンサー間のトポロジカル関係を同時にモデル化することで、異常検出性能を向上させること。
• 事前構造的知識が不要なエンドツーエンドで微分可能なフレームワークを構築すること。

提案手法

• 微分可能接続学習方針として、Gumbel-softmaxサンプリングテクニックに基づくものが採用され、双方向センサー接続を学習可能とし、エンドツーエンド学習を可能にするとともに計算複雑性を低減する。
• 異常影響の伝播をモデル化するため、新規の感染伝播（IP）グラフ畳み込みが導入され、原因から生じる連鎖的影響を捉える。
• 階層的コンテキスト符号化ブロックは、マルチスケールの拡張畳み込みとグラフ畳み込みを組み合わせ、長距離時系列依存関係をモデル化する。
• 標準的なマルチヘッド自己アテンションの2次関数的複雑性を低減しつつ、長距離コンテキストモデリングを維持するためのマルチブランチアテンション機構が提案される。
• モデルは、グラフ構造学習、拡張畳み込みを用いた時系列モデリング、アテンションベースの予測を統合した、統一されたTransformerベースのアーキテクチャに統合される。
• 各ノードの近隣ノード数を制限する専用の損失項が導入され、推論効率を向上させるとともに、学習された接続のノイズを低減する。

実験結果

リサーチクエスチョン

• RQ1 事前トポロジカル知識がなくとも、微分可能でエンドツーエンドの手法が、多次元時系列における意味のあるセンサー依存関係を自動で学習できるか？
• RQ2 動的グラフ構造を学習することで、静的またはヒューリスティックなグラフ構築に比べて、異常検出性能がどのように向上するか？
• RQ3 マルチブランチアテンション機構は、長時間系列において自己アテンションの計算複雑性を効果的に低減しつつ、性能を維持できるか？
• RQ4 グラフ畳み込みによる異常伝播のモデリングが、連鎖的または間接的異常の検出にどの程度寄与するか？

主な発見

• GTAは、SMAP、MSL、SWaT、WADIを含む4つの公開ベンチマークで最先端の性能を達成し、従来手法に比べてF1スコアで顕著な向上を示した。
• アブレーションスタディの結果、グラフ学習、提案された接続学習方針、およびTransformerベースのアーキテクチャがすべて不可欠な要素であり、いずれかを除去すると性能が著しく低下した。
• 本モデルは、実際のサイバー攻撃シナリオ（例：25.16分間のWADI攻撃）においても、攻撃を受けても正常範囲内に保たれるセンサーであっても、下流のセンサーで異常予測を検出することで、異常を正確に局所化できた。
• ケーススタディの結果、学習されたグラフ構造は実際のトポロジカル関係を正確に反映しており、例としてLEAK DIFF PRESSUREが連鎖的影響により複数の下流センサーに接続されていることが確認された。
• マルチブランチアテンション機構により計算複雑性が低減された一方で、高い性能を維持でき、モバイルおよびIoT環境における効率的導入が可能となった。
• トポロジカル依存関係が強いデータセット（例：SWaT、WADI）では、グラフ構造学習が強い恩恵をもたらすのに対し、センサー間関係が弱いデータセット（例：SMAP、MSL）ではその恩恵がやや限定的であった。