[論文レビュー] Generating Counterfactual and Contrastive Explanations using SHAP

Shubham Rathi|arXiv (Cornell University)|Jun 21, 2019

Explainable Artificial Intelligence (XAI)参考文献 14被引用数 55

ひとこと要約

この論文は、SHAPを用いて対照的な説明と対応する反事実データポイントを生成するモデル非依存パイプラインを提示し、Iris、Wine Quality、Mobile Featuresのデータセットを複数モデルで評価しています。

ABSTRACT

With the advent of GDPR, the domain of explainable AI and model interpretability has gained added impetus. Methods to extract and communicate visibility into decision-making models have become legal requirement. Two specific types of explanations, contrastive and counterfactual have been identified as suitable for human understanding. In this paper, we propose a model agnostic method and its systemic implementation to generate these explanations using shapely additive explanations (SHAP). We discuss a generative pipeline to create contrastive explanations and use it to further to generate counterfactual datapoints. This pipeline is tested and discussed on the IRIS, Wine Quality & Mobile Features dataset. Analysis of the results obtained follows.

研究の動機と目的

• GDPR主導の説明可能なAIの必要性と、対照的説明や反事実説明のような人間中心の説明の必要性を動機づける。
• SHAPを用いて対照的な説明と対応する反事実データポイントを生成するモデル非依存パイプラインを提案する。
• 生成された説明の品質と実用性を評価するため、複数のデータセットと分類器にわたってアプローチを評価する。

提案手法

• SHAPを使用して、ターゲットクラス全体にわたる各データポイントの特徴寄与度を算出する。
• 正/負のSHAP値を用いて「なぜPか？」および「なぜQではないのか？」の自然言語説明を構築する。
• 望ましいクラスに対してネガティブに寄与する特徴のみを変異させて反事実データポイントを生成する。
• 変異させた特徴集合を探索し、ポイントが所望のクラスQに分類されるまで最近傍ベースの反事実を生成する。
• KNN、NN、RF、SVMなどのモデルと、IRIS、Wine Quality、Mobile Featuresといったデータセットで反事実生成を評価する。

実験結果

リサーチクエスチョン

• RQ1 SHAPベースの寄与度を用いて、異なる分類器間でのモデル出力に対して一貫した対照的説明（『なぜPで、なぜQではないのか？』）を生成できるか。
• RQ2 ネガティブに寄与する特徴のみを変異させることで、モデルに依存しない方法で多様で現実的な反事実データポイントを生成できるか。
• RQ3 提案された説明が、密度が異なるデータセットや特徴次元が異なるデータセットでどのように機能するか。

主な発見

モデル	CFs	CPs	比率	平均
SVM	472	68	14.4%	7.8
RF	446	151	33.85%	7.4
NN	438	67	15.29%	7.3
KNN	452	138	30.53%	7.5

• この手法は、複数のモデルとデータセットに対して対照的な説明と反事実データポイントを提供する。
• 生成された反事実の多くは元のデータセットには存在せず、局所的近傍を超えた探索を示している。
• SVMとニューラルネットワークはより多くの反事実を生み出す傾向があり、意思決定境界がこのような変異に適していることを示唆している。
• Iris、RF、NN、KNNでは、反事実の数とデータとの重なり具合が異なり、重なりが低いほどより厳密な決定境界を示す。
• 密度の高いデータセット（Wine Quality、Mobile Features）は共通の反事実が少なく、モデルによる分離がより良いことを示唆する。
• システム実装（ウェブダッシュボード）は、与えられた点に対する説明の実用的な生成を示している。