[論文レビュー] Causal structure based root cause analysis of outliers

Dominik Janzing, Kailash Budhathoki+2 more|arXiv (Cornell University)|Dec 5, 2019

Anomaly Detection Techniques and Applications参考文献 9被引用数 23

ひとこと要約

この論文は、既知の因果DAGと機能的因果モデルを用いて、多次元システムにおける外れ値の根本的原因を同定するための因果フレームワークを提案する。条件付き外れ値スコアを導入し、シャープレー値を用いて、各先祖変数がターゲット変数の外れ値状態に寄与する程度を定量化する。これにより、クラウド監視や不正検出などのシステムにおける異常行動の正確な帰属が可能になる。

ABSTRACT

We describe a formal approach to identify 'root causes' of outliers observed in $n$ variables $X_1,\dots,X_n$ in a scenario where the causal relation between the variables is a known directed acyclic graph (DAG). To this end, we first introduce a systematic way to define outlier scores. Further, we introduce the concept of 'conditional outlier score' which measures whether a value of some variable is unexpected *given the value of its parents* in the DAG, if one were to assume that the causal structure and the corresponding conditional distributions are also valid for the anomaly. Finally, we quantify to what extent the high outlier score of some target variable can be attributed to outliers of its ancestors. This quantification is defined via Shapley values from cooperative game theory.

研究の動機と目的

• 因果構造が既知の多次元システムにおける外れ値イベントの「根本的要因」の概念を形式化すること。
• 各先祖変数がターゲット変数の外れ値状態にどの程度寄与しているかを体系的に定量化する手法を開発すること。
• 機能的因果モデルと情報理論的外れ値スコアを活用して、レアまたは極端なイベントの因果的説明を可能にすること。
• 協力ゲーム理論によるシャープレー値を用いて、外れ値スコアの原理的帰属を実現すること。

提案手法

• 特定の尾確率バインドを満たす測定可能関数として情報理論的（IT）外れ値スコアを定義し、外れ値確率の指数的減少を保証する。
• 因果モデルが異常に対しても成り立つものと仮定して、DAGにおける親変数の値を前提としたときの変数の値の予期せぬ度合いを測る条件付き外れ値スコアを導入する。
• 各変数を親変数と独立したノイズの関数として表現する機能的因果モデル（FCM）を用い、反事後的推論を可能にする。
• 協力ゲーム理論のシャープレー値を用いて、ターゲット変数の総外れ値スコアをその先祖変数に公平に帰属付ける。
• 連合分布を外れ値スコアの空間における単体に変換し、尾確率の正確な計算を可能にする。
• シミュレート済みおよび実世界のデータを用いてフレームワークを検証し、外れ値帰属において堅牢性と解釈可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 因果構造が既知の多次元システムにおいて、外れ値イベントの『根本的要因』を形式的に定義・定量化する方法は何か？
• RQ2 ターゲット変数の外れ値スコアが、個々の先祖変数にどの程度寄与しているか？
• RQ3 条件付き外れ値スコアは、単独の周辺外れ値検出に比べて、異常値のより正確で因果的な説明を提供できるか？
• RQ4 協力ゲーム理論、特にシャープレー値を用いて、先祖にわたる外れ値スコアをどのように公平に分配できるか？
• RQ5 因果モデルが異常観測に対しても成り立つと仮定した場合、提案手法は統計的妥当性を維持するか？

主な発見

• 提案された情報理論的外れ値スコアは、スコア ≥ c を観測する確率が e^(-c) として指数的に減少することを保証し、安定的かつ解釈可能な外れ値定量化を可能にする。
• 条件付き外れ値スコアは、異常状態下でも、子変数の値の予期せぬ度合いに各親変数が寄与する部分を的確に分離する。
• シャープレー値に基づく帰属は、ターゲット変数の総外れ値スコアをその先祖に公平かつ一意に分解する。
• 本手法は統計的整合性を維持する：因果モデルが異常にも成り立つと仮定すると、外れ値スコア分布は変換された単体空間でも有効なままとなる。
• 実データおよびシミュレートデータを用いた実験により、フレームワークが外れ値の真の根本要因を正しく同定していることが確認され、非因果的帰属手法を上回る性能を示す。
• 理論的分析により、FCM仮定のもとで、親変数を条件とした変数の条件付き外れ値スコア自体が、情報理論的外れ値スコアであることが証明されている。