[论文解读] Conditional Generative Models for Counterfactual Explanations

Arnaud Van Looveren, Janis Klaise+2 more|arXiv (Cornell University)|Jan 25, 2021

Explainable Artificial Intelligence (XAI)参考文献 29被引用 7

一句话总结

该论文提出了一种条件生成模型框架，用于在图像、时间序列和表格数据中生成稀疏且分布内（in-distribution）的反事实解释。通过在单次前向传播中训练生成模型以生成反事实实例，该方法在分布内质量与稀疏性方面均达到最先进性能，同时实现了无需迭代优化的批量生成。

ABSTRACT

Counterfactual instances offer human-interpretable insight into the local behaviour of machine learning models. We propose a general framework to generate sparse, in-distribution counterfactual model explanations which match a desired target prediction with a conditional generative model, allowing batches of counterfactual instances to be generated with a single forward pass. The method is flexible with respect to the type of generative model used as well as the task of the underlying predictive model. This allows straightforward application of the framework to different modalities such as images, time series or tabular data as well as generative model paradigms such as GANs or autoencoders and predictive tasks like classification or regression. We illustrate the effectiveness of our method on image (CelebA), time series (ECG) and mixed-type tabular (Adult Census) data.

研究动机与目标

• 解决现有反事实生成方法依赖于每个实例的迭代优化所导致的可扩展性与真实性局限。
• 开发一种通用的、与模态无关的框架，用于生成既稀疏又相对于训练数据分布内（in-distribution）的反事实。
• 通过使用条件生成模型实现单次前向传播的批量反事实生成，提升效率，超越基于优化的基线方法。
• 在多种数据模态（包括图像（CelebA）、时间序列（ECG）和混合类型表格数据（Adult Census））上展示该方法的有效性。

提出的方法

• 该方法采用一个条件生成模型 $ G_{\text{CF}} $，训练其将原始实例 $ x $ 和目标预测 $ y_T $ 映射为反事实实例 $ x_{\text{CF}} $，确保模型在 $ x_{\text{CF}} $ 上的预测结果与 $ y_T $ 匹配。
• 通过对抗损失、重建损失以及基于 $ L_1 $ 的稀疏性惩罚联合训练生成模型，以确保生成结果的真实性与最小的特征扰动。
• 该框架兼容多种生成模型（如 GAN、VAE、自编码器）和预测任务（分类、回归），具备广泛适用性。
• 对于表格数据，方法采用条件 GAN，其中 $ w_G = 1 $，$ w_M = 1 $，$ w_{L_1} = 10 $，并通过独热编码与归一化处理来应对混合特征类型。
• 模型端到端训练，以生成既接近原始实例（稀疏性）又在统计上与真实数据相似（分布内性）的反事实。
• 反事实在单次前向传播中生成，无需每个实例的优化，显著提升推理速度。

实验结果

研究问题

• RQ1 条件生成模型能否在多种数据模态中生成既稀疏又分布内的反事实实例？
• RQ2 与基于优化的基线方法相比，该方法在反事实质量与生成效率方面表现如何？
• RQ3 该框架在不同数据类型（包括图像、时间序列和混合类型表格数据）上的泛化能力如何？
• RQ4 与现有反事实生成方法相比，使用生成建模是否能提升类条件分布内性？
• RQ5 该方法能否在无需迭代优化的情况下实现高质量反事实的批量生成？

主要发现

• 在 Adult Census 数据集上，该方法在整体数据分布上的 MMD² 距离最低（0.021），在类条件分布上的 MMD² 距离为 0.015，优于 DiCE 和 CFProto。
• 在表格数据上，该方法实现了 $ L_1 $ 距离 0.065 和 $ L_0 $ 距离 2.13，表明在保持强分布内质量的同时具有高度稀疏性。
• 在图像数据（CelebA）上，该方法生成的反事实在视觉上逼真，且保留了语义属性，与基线相比扰动极小。
• 在 ECG 时间序列上，生成的反事实具有生理合理性，且仅通过极小的特征变化即匹配目标预测。
• 通过 UMAP 可视化与 MMD 分数验证，该方法在保持类特定数据分布方面持续优于 DiCE 和 CFProto。
• 该框架实现了通过单次前向传播的批量反事实生成，显著提升了基于迭代优化方法的推理速度。