[論文レビュー] Causal Shapley Values: Exploiting Causal Knowledge to Explain Individual Predictions of Complex Models

Tom Heskes, Evi Sijben+2 more|arXiv (Cornell University)|Nov 3, 2020

Explainable Artificial Intelligence (XAI)被引用数 61

ひとこと要約

論文は特徴間の因果関係をPearlのdo-calculusを用いて組み込み、個別のモデル予測を説明する因果Shapley値を提案し、貢献を直接効果と間接効果に分解する実用的な連鎖-グラフベースの実装を示す。

ABSTRACT

Shapley values underlie one of the most popular model-agnostic methods within\nexplainable artificial intelligence. These values are designed to attribute the\ndifference between a model's prediction and an average baseline to the\ndifferent features used as input to the model. Being based on solid\ngame-theoretic principles, Shapley values uniquely satisfy several desirable\nproperties, which is why they are increasingly used to explain the predictions\nof possibly complex and highly non-linear machine learning models. Shapley\nvalues are well calibrated to a user's intuition when features are independent,\nbut may lead to undesirable, counterintuitive explanations when the\nindependence assumption is violated.\n In this paper, we propose a novel framework for computing Shapley values that\ngeneralizes recent work that aims to circumvent the independence assumption. By\nemploying Pearl's do-calculus, we show how these 'causal' Shapley values can be\nderived for general causal graphs without sacrificing any of their desirable\nproperties. Moreover, causal Shapley values enable us to separate the\ncontribution of direct and indirect effects. We provide a practical\nimplementation for computing causal Shapley values based on causal chain graphs\nwhen only partial information is available and illustrate their utility on a\nreal-world example.\n

研究の動機と目的

• 複雑なモデルにおいて入力特徴間の因果関係を尊重した説明の必要性を動機づける。
• 特徴が予測に及ぼす総効果を説明する因果Shapley値を定義・導出する。
• さまざまな因果構造の下で特徴貢献を直接効果と間接効果に分解する。
• 因果連鎖グラフを用いた現実的な部分的知識実装を提案する。
• 実データでアプローチを示し、周辺Shapley値/条件付きShapley値と比較する。

提案手法

• クシャープ分解を、入力間の因果関係を説明するためにdo-calculusを用いる介入値関数で定義する。
• 特徴の順列の平均として因果Shapley値を導出し、効率性やShapleyの他の性質を保証する。
• 各順列ごとの貢献を条件付き介入期待値を用いて直接効果と間接効果に分解する。
• 因果Shapley値と条件付き・周辺Shapley値を比較し、異なる因果構造下で対称性と非対称性を論じる。
• 部分順序付けと混乱を扱うために因果連鎖グラフを用いた実用的な実装フレームワークを提示する。
• 実世界の自転車レンタルデータセットとXGBoostモデルを用いて計算を例示する。

実験結果

リサーチクエスチョン

• RQ1 個々の予測を説明する際に、入力特徴間の因果関係を取り入れてShapley値を一般化するにはどうすればよいか？
• RQ2 因果フレームワーク内で特徴の総効果を直接効果と間接成分に分解するにはどうするか？
• RQ3 部分的な因果情報しか利用できない場合、因果Shapley値を実用的に計算する手順は何か？
• RQ4 連鎖、分岐、混乱因子、循環といった異なる因果構造下で、因果Shapley値は周辺および条件付きShapley値とどう比較されるか？

主な発見

• 因果Shapley値はdo-calculusを介して因果知識を取り込み、特徴が予測に及ぼす直接効果と間接効果の両方を反映する説明を提供する。
• 特徴が予測に及ぼす総効果は直接部分と間接部分に分解でき、さまざまな因果構造下で帰属を明確化する。
• 因果Shapley値は、特徴依存性の存在下において、周辺や純粋に条件付きShapley値よりも直感的な因果説明と整合することが多い。
• 因果連鎖グラフを用いた実装は部分順序付けと混乱の識別を扱い、介入期待値の計算を可能にする。
• 実データ（自転車レンタル）で、周辺寄与と因果寄与の差を示し、特に間接効果の根拠として季節を評価する。