[論文レビュー] Causal Shapley Values: Exploiting Causal Knowledge to Explain Individual Predictions of Complex Models

Tom Heskes, Evi Sijben+2 more|arXiv (Cornell University)|Nov 3, 2020

Explainable Artificial Intelligence (XAI)参考文献 6被引用数 31

ひとこと要約

本論文は、入力特徴量間の因果関係を組み込んで個々のモデル予測を説明する因果Shapley値を提案し、影響を直接的および間接的な部分に分解する。Pearlのdo-calculusと因果連鎖グラフを用いて。

ABSTRACT

Shapley values underlie one of the most popular model-agnostic methods within explainable artificial intelligence. These values are designed to attribute the difference between a model's prediction and an average baseline to the different features used as input to the model. Being based on solid game-theoretic principles, Shapley values uniquely satisfy several desirable properties, which is why they are increasingly used to explain the predictions of possibly complex and highly non-linear machine learning models. Shapley values are well calibrated to a user's intuition when features are independent, but may lead to undesirable, counterintuitive explanations when the independence assumption is violated. In this paper, we propose a novel framework for computing Shapley values that generalizes recent work that aims to circumvent the independence assumption. By employing Pearl's do-calculus, we show how these 'causal' Shapley values can be derived for general causal graphs without sacrificing any of their desirable properties. Moreover, causal Shapley values enable us to separate the contribution of direct and indirect effects. We provide a practical implementation for computing causal Shapley values based on causal chain graphs when only partial information is available and illustrate their utility on a real-world example.

研究の動機と目的

• 特徴量間の因果関係を尊重する説明の必要性を動機づけ、独立性を仮定しない。
• Shapley値の説明をデータ生成過程の因果構造を考慮するよう generalizeする。
• 部分的な因果順序から因果Shapley値を計算する実用的な枠組みを提供する。
• 直接効果と間接効果に特徴寄与を分解して解釈性を高める。

提案手法

• 因果関係を尊重する寄与としての因果Shapley値を定義し、介入期待値にはdo-calculusを用いる。
• 部分順序付けと混同行為を扱うために因果連鎖グラフで依存関係を表現する。
• 各特徴のShapley寄与を直接効果と間接効果に分解するため、置換ベースの集計を行う。
• 実用的な計算を可能にするチェーングラフの介入-観測同値定理を提供する。
• 因果Shapley値を限界寄与Shapley値および条件付きShapley値と比較し、因果構造に対するロバスト性を強調する。

実験結果

リサーチクエスチョン

• RQ1 Shapley値をどのように計算して入力特徴量間の因果関係を反映させられるか？
• RQ2 因果Shapley値は特徴の直接効果と間接効果をモデル予測に対して分離できるか？
• RQ3 部分的な因果情報で因果Shapley値を計算できる実用的な枠組みとは？
• RQ4 さまざまな因果構造下で因果Shapley値は限界寄与および条件付きShapley値とどのように比較されるか？
• RQ5 現実世界データの説明に対するdo-calculusベースの条件付けを使用することの影響は？

主な発見

• 因果Shapley値は因果関係を考慮し、総効果を直接成分と間接成分に分解する。
• 効率性、線形性、ヌルプレーヤー特性を保持し、適切な条件の下で標準のShapley特性を回復する。
• 因果連鎖グラフを用いることで、部分的な因果順序を持つ説明を実用的に計算できる。
• 因果Shapley値はチェーン構造、フォーク構造、混同行為、サイクル構造を区別し、寄与のパターンが異なる。
• 介入分布からのサンプリングで実装可能で、既存のShapley値計算ツールへ拡張可能。