[論文レビュー] A Causal Approach to Detecting Multivariate Time-series Anomalies and Root Causes

Wenzhuo Yang, Kun Zhang+1 more|arXiv (Cornell University)|Jun 30, 2022

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

本論文は、学習された因果構造を通じてデータをモデル化することにより、多次元時系列の異常検出および原因特定のための因果ベースのフレームワークを提案する。因果システムのモularity（モジュラリティ）を活用することで、問題を低次元の局所的異常検出タスクに分解し、正確な異常検出と直接的な原因特定を可能にした。シミュレート済みデータ、公開データ、および実世界のAIOpsデータセットにおいて優れた性能を示した。

ABSTRACT

Detecting anomalies and the corresponding root causes in multivariate time series plays an important role in monitoring the behaviors of various real-world systems, e.g., IT system operations or manufacturing industry. Previous anomaly detection approaches model the joint distribution without considering the underlying mechanism of multivariate time series, making them computationally hungry and hard to identify root causes. In this paper, we formulate the anomaly detection problem from a causal perspective and view anomalies as instances that do not follow the regular causal mechanism to generate the multivariate data. We then propose a causality-based framework for detecting anomalies and root causes. It first learns the causal structure from data and then infers whether an instance is an anomaly relative to the local causal mechanism whose conditional distribution can be directly estimated from data. In light of the modularity property of causal systems (the causal processes to generate different variables are irrelevant modules), the original problem is divided into a series of separate, simpler, and low-dimensional anomaly detection problems so that where an anomaly happens (root causes) can be directly identified. We evaluate our approach with both simulated and public datasets as well as a case study on real-world AIOps applications, showing its efficacy, robustness, and practical feasibility.

研究の動機と目的

• 既存の多次元異常検出手法が因果的メカニズムを考慮しないで連合分布をモデル化するという限界を是正すること。
• 因果システムのモularity特性を活用することで、より単純な低次元問題に分解できることに着目し、正確な異常検出を実現すること。
• 局所的因果メカニズムの逸脱を分析することで、自然で解釈可能な方法で原因を同定すること。
• 合成データおよび実世界データセット（データベース監視の事例研究も含む）を用いたアプローチの妥当性を検証すること。
• 異なる因果発見手法（例：FGES 対 PC）や因果メカニズム推定手法（例：CVAE 対 MLP）に対しても、フレームワークのロバストネスを示すこと。

提案手法

• 異常を、正規の因果メカニズムに違反するインスタンスとして定式化し、局所的条件付き分布からの逸脱として扱う。
• FGES、GES、またはPCなどの構造学習アルゴリズムを用いて、時系列変数間の因果的依存関係を表す因果グラフをデータから学習する。
• 因果グラフに基づき、各変数ごとに条件付き分布に分解することで、連合分布をモジュラーな条件付き分布の積に因子分解する。これにより、各局所的メカニズムの別個の異常検出が可能になる。
• CVAE、MLP、またはKMNなどのモデルを用いて、条件付き分布推定を行い、各変数の値がその局所的因果メカニズム下でどの程度の尤度であるかを算出することで、異常スコアを計算する。
• 根拠となるスコアは、変数の異常スコアから導出され、スコアが高いほどその変数が根拠となる可能性が高くなる。
• 異なる構造学習手法を用いた場合でも安定した性能を示すなど、不完全な因果グラフに対してもフレームワークがロバストであることが示された。

実験結果

リサーチクエスチョン

• RQ1 連合分布モデル化とは対照的に、因果フレームワークは多次元時系列異常検出の正確性と解釈可能性を向上させ得るか？
• RQ2 グローバルな依存関係ではなく、局所的因果メカニズムを分析することで、本手法は原因をどの程度効果的に同定できるか？
• RQ3 異なる因果発見アルゴリズム（例：FGES 対 PC）や因果メカニズム推定器（例：CVAE 対 MLP）を用いても、フレームワークはロバストに保たれるか？
• RQ4 本手法は、クラウドベースのデータベースサービスのような複雑なシステムにおいて、稀な実世界の異常を検出し、その原因を正しく特定できるか？
• RQ5 因果システムのモularityは、高次元時系列におけるスケーラブルで解釈可能な異常検出をどの程度可能にするか？

主な発見

• 因果発見にFGES、メカニズム推定にCVAEを用いた場合、SWaTデータセットではF1スコア0.918 ± 0.008、WADIデータセットではF1スコア0.818 ± 0.023を達成した。
• PCアルゴリズムによる精度がやや低い因果グラフでさえも、F1スコア0.768（WADI）を維持するなど、構造的不確実性に対して強いロバストネスを示した。
• CVAEは、MLP や KMN よりも条件付き分布推定において優れた性能を示し、両データセットで最高のF1スコアを達成した。
• 実世界のAIOps事例研究（61個のKPI指標を含む）では、2件の重大インシデントを正しく検出し、専門家による検証と整合的にアプリケーションおよびI/O関連コンponentを根拠と特定した。
• 本手法が推定した因果グラフは、データベースログ処理における「Redo → Lfpw → Lfs → COMT」のような分野知識とよく一致していた。
• フレームワークは、多次元異常検出問題を低次元でモジュラーなタスクに成功して分解し、直接的かつ解釈可能な原因特定を可能にした。