[论文解读] ViCE: Visual Counterfactual Explanations for Machine Learning Models

Óscar Gómez, Steffen Holter+2 more|arXiv (Cornell University)|Mar 5, 2020

Explainable Artificial Intelligence (XAI)参考文献 21被引用 15

一句话总结

ViCE 是一种交互式可视化分析工具，可为表格型机器学习模型生成反事实解释，识别使模型预测发生翻转所需的最小特征变更。它通过直观的界面使终端用户能够探索可操作的洞察，已在家庭资产抵押信贷数据集上展示了其有效性，提供个性化、约束感知的解释。

ABSTRACT

The continued improvements in the predictive accuracy of machine learning models have allowed for their widespread practical application. Yet, many decisions made with seemingly accurate models still require verification by domain experts. In addition, end-users of a model also want to understand the reasons behind specific decisions. Thus, the need for interpretability is increasingly paramount. In this paper we present an interactive visual analytics tool, ViCE, that generates counterfactual explanations to contextualize and evaluate model decisions. Each sample is assessed to identify the minimal set of changes needed to flip the model's output. These explanations aim to provide end-users with personalized actionable insights with which to understand, and possibly contest or improve, automated decisions. The results are effectively displayed in a visual interface where counterfactual explanations are highlighted and interactive methods are provided for users to explore the data and model. The functionality of the tool is demonstrated by its application to a home equity line of credit dataset.

研究动机与目标

• 为高风险机器学习决策中的可解释性日益增长的需求提供支持，特别是在金融和医疗保健等领埴。
• 通过反事实推理，为终端用户提供有关模型预测的可操作、个性化的洞察。
• 开发一种可视化分析界面，有效展示非二元、表格型数据的反事实解释。
• 使用户能够探索约束条件（例如时间敏感特征），并理解模型在现实世界限制下的行为。
• 通过将个体预测置于更广泛的数据分布背景下，支持模型验证和偏差检测。

提出的方法

• 该工具使用与模型无关的算法，计算表格型数值数据的反事实，重点关注使模型输出发生翻转的最小特征扰动。
• 它集成了交互式可视化，用于显示反事实，包括正样本、负样本和一般样本的特征分布对比。
• 用户可应用约束条件（例如锁定基于时间的特征），以在现实世界限制下探索可行的变更。
• 当用户定义的约束条件应用时，界面支持反事实的动态重新计算，揭示预测翻转是否仍然可行。
• 通过不同样本组之间的频率密度分布，可视化特征重要性和单调性趋势。
• 该系统被设计为模块化、黑箱工具，与模型内部结构解耦，可与任何训练好的模型实现即插即用的集成。

实验结果

研究问题

• RQ1 如何有效可视化非二元、表格型机器学习模型的反事实解释？
• RQ2 对于给定实例，使模型预测发生翻转所需的最小特征变更集合是什么？
• RQ3 用户如何交互式地约束特征变更（例如时间相关特征），以评估预测变更的可行性？
• RQ4 可视化分析是否能通过将反事实与更广泛的数据分布进行比较，帮助用户识别偏差或模型缺陷？
• RQ5 用户定义的约束条件如何影响反事实解释的可行性和性质？

主要发现

• 该工具成功识别出可操作的、使模型预测发生翻转的最小特征值变更，例如增加满足交易数量并减少违约持续时间。
• 当锁定基于时间的特征（如“最近一次违约以来的月数”）时，算法无法再生成可行的反事实，表明模型对这些特征具有高度依赖性。
• 锁定更多时间相关特征（例如“文件中的平均月数”）进一步证实了模型在决策中对时间变量的强烈依赖。
• 解除“外部风险评估”约束后，发现该特征具有高度影响力，大幅变更其值是使预测发生翻转的最有效路径。
• 可视化有效支持偏差检测，通过对比正样本、负样本和一般样本的特征分布实现。
• 该系统展示了在现实世界应用中的可行性，例如帮助贷款申请人理解如何改善其信用申请。