[論文レビュー] Explaining Data-Driven Decisions made by AI Systems: The Counterfactual Approach

Carlos Fernández-Loría, Foster Provost+1 more|arXiv (Cornell University)|Jan 21, 2020

Explainable Artificial Intelligence (XAI)参考文献 45被引用数 54

ひとこと要約

本論文は、系の決定を変える最小限で因果的に関連する入力特徴を特定する反事実の説明が、SHAPやLIMEのような特徴量重要度手法よりも決定をより良く説明する、という主張を行い、そうした説明を生成する一般的なフレームワークとヒューリスティックを提供している。

ABSTRACT

We examine counterfactual explanations for explaining the decisions made by model-based AI systems. The counterfactual approach we consider defines an explanation as a set of the system's data inputs that causally drives the decision (i.e., changing the inputs in the set changes the decision) and is irreducible (i.e., changing any subset of the inputs does not change the decision). We (1) demonstrate how this framework may be used to provide explanations for decisions made by general, data-driven AI systems that may incorporate features with arbitrary data types and multiple predictive models, and (2) propose a heuristic procedure to find the most useful explanations depending on the context. We then contrast counterfactual explanations with methods that explain model predictions by weighting features according to their importance (e.g., SHAP, LIME) and present two fundamental reasons why we should carefully consider whether importance-weight explanations are well-suited to explain system decisions. Specifically, we show that (i) features that have a large importance weight for a model prediction may not affect the corresponding decision, and (ii) importance weights are insufficient to communicate whether and how features influence decisions. We demonstrate this with several concise examples and three detailed case studies that compare the counterfactual approach with SHAP to illustrate various conditions under which counterfactual explanations explain data-driven decisions better than importance weights.

研究の動機と目的

• モデル予測の説明とシステム決定の説明の区別を明確にする。
• システム決定に対する重要度重みの説明の限界を示す。
• 多様な特徴タイプを持つ一般的なデータ駆動型AIシステムに適用可能な、一般化された反事実フレームワークを提案する。
• 文脈に合わせて有用な反事実説明を見つけるヒューリスティックな手順を開発する。

提案手法

• 反事実説明を、系の決定を変えるように入力特徴の因果的で不可約な集合として定義する。
• 従来の反事実フレームワークを、任意の特徴タイプと複数の予測モデルを扱えるよう一般化する。
• スコアリング関数と好み（コスト）関数を用いて反事実説明を探索する、実用的なヒューリスティックアルゴリズム（およびその一般化）を導入する。
• 特徴証拠の除去（補完）をどのように行い反事実を作成するかを論じ、SHAP/LIME分析の平均補完と比較する。
• 反復的に最小の因果的説明を構築し不可約性チェックを行う手順（Algorithm 1, Evidence-based Explainer）を提供する。
• クレジットスコアリングおよび不正検知風の例とケーススタディでアプローチを説明・実証する。

実験結果

リサーチクエスチョン

• RQ1 システム決定に対する反事実説明は、モデル予測の説明とどのように異なるのか？
• RQ2 システム決定を伝える際の特徴重要度説明（例：SHAP、LIME）の限界は何か？
• RQ3 多様なデータ型とモデルにわたる決定に対して、文脈依存で不可約な説明を提供する一般化された反事実フレームワークは実現可能か？
• RQ4 有用な反事実説明を効率的に探索し、文脈への関連性に基づいてランク付けするにはどうすればよいか？

主な発見

• 反事実説明は決定を引き起こした入力に焦点を当て、決定中心の説明フレームワークを提供する。
• 重要度重みの説明は、特徴が決定に与える影響について誤解を招く可能性がある。予測の重要度が高くても決定への影響を保証するものではない。
• 一般化された反事実フレームワークは、特定のモデルや特徴タイプに結びついた説明とは異なり、任意のデータタイプと複数のモデルにまたがって機能する。
• コスト/好み関数を含むヒューリスティックな探索は、実務に適したコンパクトで実用的な反事実説明を生み出す。
• 反事実説明は、単位コストあたりのスコア変化で優先度を付けることができ、特徴を変更する際の影響と実用性のバランスをとる。