[论文解读] Generating Counterfactual and Contrastive Explanations using SHAP

Shubham Rathi|arXiv (Cornell University)|Jun 21, 2019

Explainable Artificial Intelligence (XAI)参考文献 14被引用 55

一句话总结

本论文提出一个使用 SHAP 的模型无关管道，用于生成对比性解释和相应的反事实数据点，在 Iris、Wine Quality 和 Mobile Features 数据集以及多种模型上进行评估。

ABSTRACT

With the advent of GDPR, the domain of explainable AI and model interpretability has gained added impetus. Methods to extract and communicate visibility into decision-making models have become legal requirement. Two specific types of explanations, contrastive and counterfactual have been identified as suitable for human understanding. In this paper, we propose a model agnostic method and its systemic implementation to generate these explanations using shapely additive explanations (SHAP). We discuss a generative pipeline to create contrastive explanations and use it to further to generate counterfactual datapoints. This pipeline is tested and discussed on the IRIS, Wine Quality & Mobile Features dataset. Analysis of the results obtained follows.

研究动机与目标

• 推动 GDPR 驱动的可解释 AI 需求以及人类中心的解释，如对比性和反事实解释。
• 提出一个使用 SHAP 的模型无关管道，以生成对比性解释及相应的反事实数据点。
• 在多种数据集和分类器上评估该方法，以评估所生成解释的质量和实用性。

提出的方法

• 使用 SHAP 计算目标类别下每个数据点的特征归因。
• 利用正负 SHAP 值为 '为何是 P？' 和 '为何不是 Q？' 构建自然语言解释。
• 仅对对目标类别不利贡献的特征进行变异，以生成反事实数据点。
• 通过探索变异的特征集并生成最近邻基础的反事实，直到点被分类为期望的类别 Q。
• 在模型（KNN、NN、RF、SVM）和数据集（IRIS、Wine Quality、Mobile Features）之间进行比较，以评估反事实生成。

实验结果

研究问题

• RQ1 可以使用基于 SHAP 的归因来为不同分类器的模型输出生成连贯的对比性解释（“为何是 P 而不是 Q？”）吗？
• RQ2 是否可以通过仅变异对目标类别有负贡献的特征，以模型无关的方式生成多样且现实的反事实数据点？
• RQ3 所提出的解释在密度和特征维数不同的数据集上表现如何？

主要发现

模型	CFs	CPs	比率	平均值
SVM	472	68	14.4%	7.8
RF	446	151	33.85%	7.4
NN	438	67	15.29%	7.3
KNN	452	138	30.53%	7.5

• 该方法在若干模型和数据集上产生对比性解释和反事实数据点。
• 大多数生成的反事实并未出现在原始数据集中，表明其探索超出了局部邻域。
• SVM 与神经网络倾向于生成更多的反事实，表明其决策边界更易于进行这种变异。
• 在 Iris、RF、NN、KNN 上，反事实的数量及其与数据的重叠程度不同，重叠度越低，表示决策边界越紧凑。
• 密集数据集（Wine Quality、Mobile Features）产生的共同反事实较少，暗示模型拥有更好的分离。
• 系统实现（网页仪表板）展示了对给定点生成解释的可行性。