[论文解读] GeCo: Quality Counterfactual Explanations in Real Time

Maximilian Schleich, Zixuan Geng+2 more|arXiv (Cornell University)|Jan 5, 2021

Explainable Artificial Intelligence (XAI)参考文献 33被引用 13

一句话总结

GeCo 是一种实时系统，通过使用两种关键优化的定制遗传算法，生成高质量、可行且合理的反事实解释：Δ-表示法用于紧凑的候选编码，以及分类器的部分评估。与五种现有系统相比，它在交互式环境中实现了低延迟响应时间和高质量解释。

ABSTRACT

Machine learning is increasingly applied in high-stakes decision making that directly affect people's lives, and this leads to an increased demand for systems to explain their decisions. Explanations often take the form of counterfactuals, which consists of conveying to the end user what she/he needs to change in order to improve the outcome. Computing counterfactual explanations is challenging, because of the inherent tension between a rich semantics of the domain, and the need for real time response. In this paper we present GeCo, the first system that can compute plausible and feasible counterfactual explanations in real time. At its core, GeCo relies on a genetic algorithm, which is customized to favor searching counterfactual explanations with the smallest number of changes. To achieve real-time performance, we introduce two novel optimizations: $Δ$-representation of candidate counterfactuals, and partial evaluation of the classifier. We compare empirically GeCo against five other systems described in the literature, and show that it is the only system that can achieve both high quality explanations and real time answers.

研究动机与目标

• 解决在高风险机器学习决策中实时生成高质量、可行且合理的反事实解释的关键挑战。
• 克服丰富语义约束（合理性、可行性）与生产系统中对交互性能需求之间的矛盾。
• 设计一种系统，支持复杂的真实世界约束，同时保持低延迟响应，适用于面向用户的应用。
• 提供可操作、用户友好的解释，反映特定领域规则、社会规范以及法律要求（如 GDPR）。
• 提供可扩展的通用解决方案，适用于多种结构化数据和模型类型。

提出的方法

• GeCo 采用定制的遗传算法，优先选择所需特征更改最少的反事实，从而提升可操作性和合理性。
• 引入 Δ-表示法，一种紧凑的数据结构，将候选反事实编码为与原始实例的差异，减少内存和计算开销。
• 对分类器应用部分评估，以避免在候选实例之间重复评估共享的模型组件，从而加速适应度评估。
• 系统集成一种通用约束语言（PLAF），用于编码特定领域的规则，例如单调性（如年龄仅能增加）以及特征之间的逻辑依赖。
• 通过特征分组和约束蕴含关系的解析，进一步缩小搜索空间并提升收敛速度。
• 动态使用动作级联检查约束，以在最小化性能影响的同时保持正确性。

实验结果

研究问题

• RQ1 系统是否能在复杂领域约束下，实时生成高质量、可行且合理的反事实解释？
• RQ2 如何高效地剪枝反事实的搜索空间，而不牺牲解决方案质量？
• RQ3 在保持语义保真度的前提下，哪些优化最有效于加速遗传算法在反事实搜索中的性能？
• RQ4 基于约束的过滤在多大程度上能提升性能，而不会引入显著的运行时开销？
• RQ5 系统能否在丰富语义与交互性能之间取得平衡，超越仅侧重其中一方的现有方法？

主要发现

• 在五种评估系统中，GeCo 是唯一同时实现实时性能和高质量反事实解释的系统，在速度和解决方案质量上均优于 MACE、What-If Tool、DiCE 和 CERTIFAI。
• 即使所有 12 个特征都必须更改，系统仍能持续找到有效的反事实解释，且运行时间与更改数量呈线性关系。
• Δ-表示法相比朴素列举方法，将候选种群大小减少了高达 60 倍，显著提升了内存效率和搜索速度。
• 在 Credit 数据集上，部分评估和约束过滤可将性能提升最高达 32.3%；在 Adult 数据集上整体提速 18.7%，在 Credit 数据集上提速 9.8%，当应用所有约束时。
• 引入具有蕴含关系的约束会带来一定开销，但收敛速度仍快于无约束情况，表明实现了有效的权衡。
• 通过在变异过程中采样更多值，GeCo 仅以轻微性能损失为代价，显著缩小了与最优解释的距离，展现出强大的可扩展性和适应性。