[论文解读] DECE: Decision Explorer with Counterfactual Explanations for Machine Learning Models

Furui Cheng, Yao Ming+1 more|arXiv (Cornell University)|Aug 19, 2020

Explainable Artificial Intelligence (XAI)参考文献 39被引用 11

一句话总结

DECE 是一个交互式可视化系统，利用反事实解释帮助用户探索和理解表格数据上机器学习模型的决策。它通过可自定义、可操作的反事实解释，在实例和子组层面分析模型行为，支持模型开发者和终端用户诊断偏差并做出明智决策。

ABSTRACT

With machine learning models being increasingly applied to various decision-making scenarios, people have spent growing efforts to make machine learning models more transparent and explainable. Among various explanation techniques, counterfactual explanations have the advantages of being human-friendly and actionable -- a counterfactual explanation tells the user how to gain the desired prediction with minimal changes to the input. Besides, counterfactual explanations can also serve as efficient probes to the models' decisions. In this work, we exploit the potential of counterfactual explanations to understand and explore the behavior of machine learning models. We design DECE, an interactive visualization system that helps understand and explore a model's decisions on individual instances and data subsets, supporting users ranging from decision-subjects to model developers. DECE supports exploratory analysis of model decisions by combining the strengths of counterfactual explanations at instance- and subgroup-levels. We also introduce a set of interactions that enable users to customize the generation of counterfactual explanations to find more actionable ones that can suit their needs. Through three use cases and an expert interview, we demonstrate the effectiveness of DECE in supporting decision exploration tasks and instance explanations.

研究动机与目标

• 解决在贷款审批和医疗诊断等高风险决策中使用的机器学习模型缺乏透明度和可解释性的问题。
• 通过人类友好且可操作的反事实解释，支持模型开发者和终端用户理解、诊断并采取行动应对模型预测。
• 通过结合实例层面和子组层面的反事实分析与可自定义约束，实现对模型决策边界的交互式探索。
• 通过基于反事实示例的迭代子组优化，促进发现简单而有效的决策规则。
• 通过整合用户反馈并支持现实可行性约束，提升反事实解释的实际可用性。

提出的方法

• DECE 集成表格界面用于子组创建与可视化，允许用户通过汇总的反事实示例筛选、排序和探索数据子组。
• 在实例透镜中使用增强的平行坐标图，可视化并比较单个实例的多种反事实示例。
• 用户可交互式地对特征变化施加约束（例如，限制信用评分变化），以生成可行且可操作的反事实。
• 系统通过支持用户选择关键特征并缩小子组范围，实现迭代子组优化，以识别模型行为中的模式。
• 反事实生成基于模型预测，确保精确性并避免近似，同时应用优化技术以提升效率。
• 该框架支持二分类和多分类任务，用户可选择目标类别，或使用启发式方法（如第二高概率类别）。

实验结果

研究问题

• RQ1 如何有效利用反事实解释在实例和子组层面探索和理解模型决策？
• RQ2 哪些交互技术可帮助用户通过自定义特征约束生成更具可操作性和可行性的反事实解释？
• RQ3 r-反事实在识别有意义的决策规则和模型偏差方面，能在多大程度上支持探索性分析？
• RQ4 用户约束和反馈在现实决策场景中如何影响反事实解释的可解释性和可用性？
• RQ5 在具有不同特征类型的多样化表格数据集中，反事实生成的可扩展性和性能特征如何？

主要发现

• 通过结合子组层面的反事实与交互式约束设定，DECE 有效支持了对模型决策边界的探索，使用户能够识别模型行为中的模式。
• 系统支持高效的反事实生成，单个示例在 2.5GHz Intel Core i5 CPU 上生成 HELOC 数据集的反事实平均耗时约 16 秒。
• 用户反馈表明，自定义约束功能显著提升了反事实的可操作性，尤其在医疗和金融等敏感领域。
• 专家反馈强调了支持临床属性中非适用值和参考范围的重要性，推动了系统的界面设计优化。
• 系统在包含最多 10,459 个实例的数据集上表现出可扩展性，但具有大量分类特征的数据集收敛速度较慢。
• 用户反馈指出，可视化子组纯度和特征分布显著增强了检测模型偏差和推导有意义决策规则的能力。