[論文レビュー] Asymmetric Shapley values: incorporating causal knowledge into model-agnostic explainability

Christopher Frye, Colin Rowat+1 more|arXiv (Cornell University)|Oct 14, 2019

Explainable Artificial Intelligence (XAI)参考文献 50被引用数 36

ひとこと要約

非対称Shapley値（ASVs）を導入し、因果知識をモデル非依存の説明に組み込む。対称性を緩和して因果認識的、逐次的、フェアネス、特徴選択分析を、完全な因果グラフなしで可能にする。

ABSTRACT

Explaining AI systems is fundamental both to the development of high performing models and to the trust placed in them by their users. The Shapley framework for explainability has strength in its general applicability combined with its precise, rigorous foundation: it provides a common, model-agnostic language for AI explainability and uniquely satisfies a set of intuitive mathematical axioms. However, Shapley values are too restrictive in one significant regard: they ignore all causal structure in the data. We introduce a less restrictive framework, Asymmetric Shapley values (ASVs), which are rigorously founded on a set of axioms, applicable to any AI system, and flexible enough to incorporate any causal structure known to be respected by the data. We demonstrate that ASVs can (i) improve model explanations by incorporating causal information, (ii) provide an unambiguous test for unfair discrimination in model predictions, (iii) enable sequentially incremental explanations in time-series models, and (iv) support feature-selection studies without the need for model retraining.

研究の動機と目的

• 標準的な Shapley 値を超えて、因果構造をモデルの説明可能性に組み込む必要性を動機づける。
• 因果情報を活用するために対称性を緩和する、数学的公理的フレームワーク（ASVs）を提案する。
• 因果認識される説明、解決されていない差別を介したフェアネス検証、時系列の逐次的説明、再学習なしの特徴選択といった実用的な応用を示す。

提案手法

• 特徴の順序の置換 π に対する重み w(π) に基づく非対称 Shapley 値を定義する。
• ASVs は効率性、線形性、零性公理を満たすが対称性は満たさず、因果情報を考慮した寄与を可能にする。
• 寄与度を計算する際にデータの相関を尊重するためにオン・マニホールドの値関数を用いる。
• 既知の因果構造を説明に組み込むための端走（distal）と近位（proximate）因果順序付け戦略を提示する。
• 4つの応用分野での実装を実証し、国勢調査データ、合成入院データ、EEG時系列、特徴選択の事例で経験的デモを示す。

実験結果

リサーチクエスチョン

• RQ1 完全な因果グラフを必要とせず、部分的または完全な因果知識を組み込むように Shapley ベースの説明を拡張するにはどうすればよいか。
• RQ2 ASVs はモデル予測における因果的な不公正の概念（未解決の差別）を検出・定量化できるか。
• RQ3 ASVs が時間系列データのためのシーケンス認識型の説明を生み出し、まばらで初期（始点）に焦点を当てた寄与を可能にするか？
• RQ4 ASVs は再学習せずに部分集合ベースの特徴選択のための特徴の有用性を正確に解釈できるか。

主な発見

• ASV は既知の因果順序を尊重する説明を提供し、モデルの正確さを子孫よりも前の因果祖先に帰属させることができる。
• ASVs は解決変数を考慮した後の感度属性の増分効果を測定することで、微妙な公正性の問題を明らかにできる。
• ASVs は時系列データの初期に重要度を集中させる、よりスパースで時間系列対応の寄与を生み出す。標準の Shapley 値とは異なる。
• ASVs は特徴のサブセットを用いることで達成可能な精度を定量化でき、複数モデルの再学習なしに特徴選択をサポートする。
• 遠位（根本）と近位（即時）の因果観念を組み込むと、経験的な事例は明確に異なる帰属を示す。