[论文解读] Model-Agnostic Counterfactual Explanations for Consequential Decisions

Amir-Hossein Karimi, Gilles Barthe+2 more|arXiv (Cornell University)|May 27, 2019

Explainable Artificial Intelligence (XAI)参考文献 26被引用 85

一句话总结

介绍 MACE，一种模型无关的方法，通过求解一系列 SMT 可满足性问题，为任意预测器生成最近、合理且多样化的反事实解释，达到 100% 覆盖率，并且得到比先前工作更接近的反事实。

ABSTRACT

Predictive models are being increasingly used to support consequential decision making at the individual level in contexts such as pretrial bail and loan approval. As a result, there is increasing social and legal pressure to provide explanations that help the affected individuals not only to understand why a prediction was output, but also how to act to obtain a desired outcome. To this end, several works have proposed optimization-based methods to generate nearest counterfactual explanations. However, these methods are often restricted to a particular subset of models (e.g., decision trees or linear models) and differentiable distance functions. In contrast, we build on standard theory and tools from formal verification and propose a novel algorithm that solves a sequence of satisfiability problems, where both the distance function (objective) and predictive model (constraints) are represented as logic formulae. As shown by our experiments on real-world data, our algorithm is: i) model-agnostic ({non-}linear, {non-}differentiable, {non-}convex); ii) data-type-agnostic (heterogeneous features); iii) distance-agnostic ($\ell_0, \ell_1, \ell_\infty$, and combinations thereof); iv) able to generate plausible and diverse counterfactuals for any sample (i.e., 100% coverage); and v) at provably optimal distances.

研究动机与目标

• 动机：在重大决策（如保释、贷款）中需要解释的原因，以及现有方法的局限性。
• 提出 MACE，一种模型无关的方法，能够在保证条件下生成最近的反事实。
• 在确保可行性和多样性的同时，处理异构特征空间与任意距离度量。
• 提供一个可扩展的工作流，在 SMT 公式下产生可证明最优距离的反事实。
• 在真实世界数据集上展示实际有效性，并提供全覆盖保证。

提出的方法

• 将最近反事实问题表示为一系列可满足性问题，通过将模型、距离、可行性和多样性约束编码为逻辑公式。
• 使用模型的特征公式（从程序表示构建）来捕捉不同模型类别的 f(x)=y（如决策树、MLPs）。
• 将距离函数与可行性/多样性约束表达为 SMT 友好程序，实现模型和距离无关的优化。
• 对距离阈值 delta 进行二分搜索，以在可控精度下逼近最近的反事实，利用 SMT 预言机进行可行性检查。
• 通过添加约束来强制多个反事实之间的最小距离，从而实现多样性。
• 支持异构数据类型（数值、分类、序数），使用归一化每特征变化并结合 L0、L1 和 Linf 范数的距离度量。

实验结果

研究问题

• RQ1 如何以模型无关的方式为重大决策生成反事实解释？
• RQ2 在一般距离度量下，能否使用 SMT 求解器找到具有最优性保证的最近反事实？
• RQ3 可行性与多样性约束如何影响反事实的质量与可行性？
• RQ4 在真实世界、异构数据集上，与现有方法在覆盖率和距离方面相比，MACE 的表现如何？
• RQ5 可操作性约束（可行性）与产生的反事实距离之间有哪些权衡？

主要发现

• MACE 在所评估的实例中按设计实现了 100% 覆盖率。
• 与先前的方法相比，MACE 在多个数据集（Adult、Credit、COMPAS）上产生的反事实更接近。
• 与基线相比的平均距离降低幅度达到 70.2%（Adult）、75.4%（Credit）和 21.1%（COMPAS）。
• MACE 支持异构特征空间和任意距离组合（L0、L1、L∞），并具有最优距离保证。
• 引入可行性约束（如不可变特征如年龄不改变）会在 L1 和 L∞ 范数下增加距离，但仍保持可行、合规的解释。
• 该方法提供 100% 覆盖率，并通过纳入多样性约束来生成多样的反事实。