[論文レビュー] Learning Graph Neural Networks for Multivariate Time Series Anomaly Detection

Saswati Ray, Sana Lakdawala+2 more|arXiv (Cornell University)|Nov 15, 2021

Anomaly Detection Techniques and Applications参考文献 14被引用数 5

ひとこと要約

本稿では、多変量時系列における動的センサー依存関係を学習し、予測を不均一分散ガウス分布としてモデル化することで、補正された不確実性推定を提供するグラフニューラルネットワークフレームワークGLUEを提案する。GLUEは、GDNと同等の異常検知性能を達成するとともに、解釈可能な不確実性対応しきい値を提供する。実世界のWADIおよびNASA Turbofanデータセットを用いた検証と、オープンソースコードのリリースにより、再現性を確保した。

ABSTRACT

In this work, we propose GLUE (Graph Deviation Network with Local Uncertainty Estimation), building on the recently proposed Graph Deviation Network (GDN). GLUE not only automatically learns complex dependencies between variables and uses them to better identify anomalous behavior, but also quantifies its predictive uncertainty, allowing us to account for the variation in the data as well to have more interpretable anomaly detection thresholds. Results on two real world datasets tell us that optimizing the negative Gaussian log likelihood is reasonable because GLUE's forecasting results are at par with GDN and in fact better than the vector autoregressor baseline, which is significant given that GDN directly optimizes the MSE loss. In summary, our experiments demonstrate that GLUE is competitive with GDN at anomaly detection, with the added benefit of uncertainty estimations. We also show that GLUE learns meaningful sensor embeddings which clusters similar sensors together.

研究の動機と目的

• 既存の深層学習モデルが複雑な変数間依存関係をモデル化できず、信頼性の低い不確実性推定を提供するという限界に対処すること。
• センサー間の構造的依存関係を学び、一貫性があり解釈可能な方法で予測不確実性を定量化する手法を開発すること。
• 新しく導入されたNASA Turbofanデータセットも含む実世界のデータセットを用いて、提案手法の妥当性と一般化性能を検証すること。
• 再現可能性を確保し、今後の不確実性対応異常検知分野の研究を促進するために、オープンソースコードをリリースすること。

提案手法

• GLUEは、センサー読み取り値を不均一分散多変量ガウス分布からのサンプルとしてモデル化し、各時系列ステップに対して平均μ(x)と分散σ²(x)を予測する。
• センサー固有の特徴を捉え、センサー間の動的依存関係を推定するために、学習可能なセンサー埋め込みを用いたグラフニューラルネットワークアーキテクチャを採用する。
• 予測されたガウス分布の下で観測データの負対数尤度（NLL）を最適化することで、GDNで用いられる標準的なMSE損失に代わる、より良好な不確実性補正を実現する。
• 構造学習をエンドツーエンドで実行することで、事前に定義されたグラフ構造を必要とせず、意味のあるセンサー関係をモデルが発見可能となる。
• 局所的な不確実性推定は、予測区間（例：95％信頼帯）の計算により達成され、期待される範囲からの逸脱に基づく頑健な異常検知が可能になる。
• バックプロパゲーションと適応的最適化を用いて訓練し、推論段階では点予測と不確実性の定量化を併用して異常スコアリングを実行する。

実験結果

リサーチクエスチョン

• RQ1 センサー依存関係と不確実性推定を同時に学習するグラフニューラルネットワークフレームワークは、既存の最先端モデルを上回る性能を発揮できるか？
• RQ2 学習された分散を伴う確率的分布（ガウス分布）として予測をモデル化することで、点推定と比較して、異常検知性能と解釈可能性が向上するか？
• RQ3 GLUEは、実世界の多変量時系列データから意味的で解釈可能なセンサーのグループ化や構造的関係を発見できるか？
• RQ4 WADIおよびNASA Turbofanデータセットのように、定常性の程度や異常の明確さが異なるデータセットにおいて、GLUEはどの程度の性能を発揮するか？

主な発見

• WADIデータセットでは、GLUEがF1スコア0.58を達成し、GDN（F1 = 0.64）と同等の性能を示し、PCA（F1 = 0.42）やオートエンコーダー（F1 = 0.43）を大幅に上回った。
• NASA Turbofanデータセットでは、GLUEがF1スコア0.50を達成し、VARベースラインおよびGDNと同等の性能を示したが、K-NNがF1 = 0.55を記録し、すべてのモデルをわずかに上回った。これは、データセットの高い定常性が要因とされる。
• WADIデータセットでは、GLUEが最小の平均二乗誤差（MSE = 2.79）を達成し、VARベースライン（MSE = 2497.52）を大きく上回り、GDN（MSE = 3.00）とほぼ同等の性能を示した。
• 予測区間の可視化分析から、真の異常が一貫して95％信頼帯の外側に位置していることが確認され、モデルが不確実性対応しきい値を用いて逸脱を検出できることを裏付けた。
• センサー埋め込みのt-SNE可視化から、GLUEは意味的で明確なクラスタリングを学習しており、WADIデータセットでは同じタンクやバルブに関連するセンサーが同様の機能的役割を持つグループとして分離されていることが明らかになった。
• モデルの不確実性推定は解釈可能で頑健であり、両データセットにおいて最大頑健誤差（MRE）スコアが異常データポイントと正常データポイントを効果的に区別した。