[论文解读] MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation

Wenzhuo Yang, Jia Li+2 more|arXiv (Cornell University)|May 31, 2022

Explainable Artificial Intelligence (XAI)被引用 7

一句话总结

MACE 是一种模型无关的反事实解释框架，利用强化学习进行特征优化，并采用无梯度下降法提升接近度，从而在不可微分模型和高基数分类特征上实现高效、高质量的反事实生成。与 DiCE 和 CERTIFAI 等先前方法相比，MACE 在推理速度、稀疏性和接近度方面表现更优。

ABSTRACT

Counterfactual explanation is an important Explainable AI technique to explain machine learning predictions. Despite being studied actively, existing optimization-based methods often assume that the underlying machine-learning model is differentiable and treat categorical attributes as continuous ones, which restricts their real-world applications when categorical attributes have many different values or the model is non-differentiable. To make counterfactual explanation suitable for real-world applications, we propose a novel framework of Model-Agnostic Counterfactual Explanation (MACE), which adopts a newly designed pipeline that can efficiently handle non-differentiable machine-learning models on a large number of feature values. in our MACE approach, we propose a novel RL-based method for finding good counterfactual examples and a gradient-less descent method for improving proximity. Experiments on public datasets validate the effectiveness with better validity, sparsity and proximity.

研究动机与目标

• 解决现有基于优化的反事实方法所面临的局限性，即假设模型可微分，并将分类特征视为连续变量，这限制了其在现实场景中的部署。
• 实现在 XGBoost 等不可微分模型以及高基数分类特征上的高效反事实生成。
• 通过优化有效性、稀疏性和接近度来提升反事实质量，同时保持计算效率。
• 开发一个实用、易于使用的工具包，以促进反事实解释在生产环境中的实际应用。

提出的方法

• MACE 采用四阶段流程：反事实特征选择、基于 REINFORCE 的强化学习代理进行反事实特征优化、反事实样本选择，以及连续特征微调。
• 基于强化学习的优化方法学习一种策略，以选择最小且可操作的特征变更，从而实现期望的模型输出。
• 采用无梯度下降法（MACE-GLD）来优化连续特征，提升其与原始样本的接近度。
• 分类特征无需进行独热编码，避免引入新的连续变量，同时保持稀疏性。
• 该框架具有模型无关性，通过在优化过程中替换相关的时间序列特征，支持表格数据与时间序列数据。
• 该方法避免对底层模型进行梯度计算，因此可应用于 XGBoost 等不可微分模型。

实验结果

研究问题

• RQ1 模型无关的反事实解释框架能否高效处理 XGBoost 等不可微分模型？
• RQ2 当分类特征具有高基数时，如何在不使用独热编码的情况下高效生成反事实解释？
• RQ3 强化学习能否有效用于反事实特征选择，同时保持稀疏性和接近度？
• RQ4 所提出的无梯度下降法在提升连续特征接近度方面，与基于梯度的方法相比表现如何？
• RQ5 该框架能否在保持效率与反事实质量的前提下，扩展至高维时间序列数据？

主要发现

• MACE-RL 和 MACE-GLD 的推理时间显著缩短——在时间序列数据上比 Greedy 快超过 10 倍，同时保持了相近的稀疏性。
• 在 Adult 和 Titanic 数据集上，MACE 生成的反事实示例在有效性、稀疏性以及接近度方面均优于 DiCE 和 CERTIFAI。
• 该框架将每查询的运行时间降低至大多数数据集下 2 秒以内，使其适用于现实世界部署。
• 在 Taxonomist 时间序列分类数据集上，MACE-GLD 和 MACE-RL 的稀疏性得分与 Greedy 相差仅 1–2 个单位，但每查询仅耗时 1.8 秒，而 Greedy 需要 19–32 秒。
• 基于强化学习的策略学习到了可操作且合理的反事实，例如“提高教育水平”或“提高收入”，这些结果反映了数据中真实存在的关联性。
• 基于 MACE 开发的工具包可实现反事实解释在内部 AI 工作流中的实际集成，展现出真实世界的应用潜力。