[论文解读] Fast Real-time Counterfactual Explanations

Yunxia Zhao|arXiv (Cornell University)|Jul 11, 2020

Adversarial Robustness in Machine Learning参考文献 27被引用 10

一句话总结

该论文提出 FRACE，一种用于图像分类中实时反事实解释的快速、无需优化的方法。该方法基于 GAN 的残差生成器，通过 starGAN 训练，能够在单次前向传播中学习特定类别的图像变换。FRACE 生成的反事实图像既真实又可解释，速度比基于优化的方法快达 100 倍，同时在解释质量与速度方面均优于当前最先进方法。

ABSTRACT

Counterfactual explanations are considered, which is to answer {\it why the prediction is class A but not B.} Different from previous optimization based methods, an optimization-free Fast ReAl-time Counterfactual Explanation (FRACE) algorithm is proposed benefiting from the development of multi-domain image to image translation algorithms. Built from starGAN, a transformer is trained as a residual generator conditional on a classifier constrained under a proposal perturbation loss which maintains the content information of the query image, but just the class-specific semantic information is changed. The transformer can transfer the query image to any counterfactual class, and during inference, our explanation can be generated by it only within a forward time. It is fast and can satisfy the real-time practical application. Because of the adversarial training of GAN, our explanation is also more realistic compared to other counterparts. The experimental results demonstrate that our proposal is better than the existing state of the art in terms of quality and speed.

研究动机与目标

• 解决深度学习中交互式 AI 应用缺乏实时、真实反事实解释的问题。
• 克服基于优化的方法因速度过慢而无法用于实时应用的局限性。
• 生成比扰动或图像替换方法更真实、更具可解释性的反事实图像。
• 消除对随机图像选择的依赖，提升解释的一致性与可靠性。
• 通过轻量级推理机制，实现在低复杂度平台（如移动设备）上的部署。

提出的方法

• FRACE 使用通过 starGAN 训练的残差生成器，学习从查询图像到反事实类别的图像到图像的转换。
• 生成器以分类器的预测结果和目标反事实类别为条件，确保实现特定类别的语义变化。
• 通过扰动损失约束生成器仅对输入图像进行最小化、内容保持的修改。
• 通过判别器进行对抗性训练，确保生成的反事实图像真实自然，与真实图像难以区分。
• 将分类器整合进训练过程，使生成图像与模型的决策边界对齐。
• 推理阶段仅需一次前向传播，实现反事实解释的实时生成。

实验结果

研究问题

• RQ1 基于 GAN 的方法是否能在无需迭代优化的情况下，为图像分类生成真实的反事实图像？
• RQ2 在实时应用中，FRACE 的速度与基于优化的反事实解释方法相比如何？
• RQ3 FRACE 在将图像转换为反事实类别时，能在多大程度上保持内容身份的一致性？
• RQ4 在解释质量与可解释性方面，FRACE 与当前最先进方法相比表现如何？
• RQ5 FRACE 是否能在细粒度分类任务中实现泛化，尤其在细微视觉差异至关重要的场景下？

主要发现

• FRACE 仅通过一次前向传播即可生成反事实解释，显著快于基于优化的方法（如 Search 和 CEM）。
• 该方法在解释真实性方面达到最先进水平，经与 SCOUT、Search 和 CEM 的定性对比得到验证。
• 与依赖随机图像选择的方法相比，FRACE 生成的反事实图像更具可解释性与语义意义，例如在手写数字中可实现特定笔画的增删。
• 对抗性训练确保生成的反事实图像视觉自然、合理，而基于扰动的方法常产生不自然的伪影。
• FRACE 在可解释性方面优于 SCOUT，因其解释为直接的视觉转换，而非抽象的显著性图。
• 在速度基准测试中，FRACE 为最快，其推理时间显著低于基于优化的替代方法，即使计入 GAN 预训练时间亦然。