[论文解读] Counterfactual Explanations for Machine Learning: A Review.

Sahil Verma, John P. Dickerson+1 more|arXiv (Cornell University)|Oct 20, 2020

Explainable Artificial Intelligence (XAI)参考文献 80被引用 222

一句话总结

本文综述并分类了机器学习中的反事实解释，提出了一套评估算法的关键属性（如保真度、多样性与可行性）的评估框架。该研究对现有方法进行了全面比较，识别出研究空白，并指出了在金融与医疗等高风险领域可信赖人工智能系统中具有前景的未来研究方向。

ABSTRACT

Machine learning plays a role in many deployed decision systems, often in ways that are difficult or impossible to understand by human stakeholders. Explaining, in a human-understandable way, the relationship between the input and output of machine learning models is essential to the development of trustworthy machine-learning-based systems. A burgeoning body of research seeks to define the goals and methods of explainability in machine learning. In this paper, we seek to review and categorize research on counterfactual explanations, a specific class of explanation that provides a link between what could have happened had input to a model been changed in a particular way. Modern approaches to counterfactual explainability in machine learning draw connections to the established legal doctrine in many countries, making them appealing to fielded systems in high-impact areas such as finance and healthcare. Thus, we design a rubric with desirable properties of counterfactual explanation algorithms and comprehensively evaluate all currently-proposed algorithms against that rubric. Our rubric provides easy comparison and comprehension of the advantages and disadvantages of different approaches and serves as an introduction to major research themes in this field. We also identify gaps and discuss promising research directions in the space of counterfactual explainability.

研究动机与目标

• 为解决在金融与医疗等高影响力领域中，使机器学习决策对人类利益相关者可解释的挑战。
• 定义并评估有效反事实解释的核心属性，如保真度、多样性与可行性。
• 提供一个结构化的评估框架，用于在多个维度上比较现有反事实解释算法。
• 识别当前研究中的空白，并提出反事实可解释性领域中具有前景的未来研究方向。
• 弥合机器学习可解释性与既有的因果性与责任认定法律原则之间的差距。

提出的方法

• 作者设计了一套全面的评估框架，包含反事实解释算法的理想属性，如保真度、多样性、接近度与可行性。
• 他们系统性地将所有现有提出的反事实解释方法与该框架进行对比，以实现直接比较。
• 评估框架强调对输入进行人类可理解的修改，以改变模型预测结果，符合因果推理原则。
• 本文将反事实解释与因果性法律 doctrine 进行关联，增强其在受监管领域中的可接受性。
• 根据其底层优化技术（如基于梯度或基于搜索的方法）对现有方法进行分类。
• 利用评估框架映射研究主题，突出权衡关系，并指导未来算法开发。

实验结果

研究问题

• RQ1 在机器学习中，定义高质量反事实解释的关键属性是什么？
• RQ2 现有反事实解释算法在保真度、多样性与可行性方面如何比较？
• RQ3 当前生成反事实解释方法存在哪些局限性与权衡？
• RQ4 如何使反事实解释与决策中的法律与伦理因果原则保持一致？
• RQ5 在现实世界应用中，推动反事实可解释性发展的最有前景的研究方向是什么？

主要发现

• 所提出的评估框架通过在多个理想属性上评估算法，实现了对反事实解释算法的系统性比较。
• 许多现有方法优先考虑保真度或接近度，但往往忽视了在现实部署中多样性与可行性的考量。
• 缺乏标准化的评估协议，导致各研究间的基准测试不一致。
• 与因果性法律 doctrine 一致的反事实解释，在金融与医疗等受监管领域更可能被接受。
• 该领域在反事实质量、计算效率与模型无关性之间的最优平衡上尚未形成共识。
• 未来研究应聚焦于提升可行性与多样性，同时保持高保真度与人类可解释性。