[论文解读] Explaining Image Classifiers by Counterfactual Generation

Chun‐Hao Chang, Elliot Creager+2 more|arXiv (Cornell University)|Jul 20, 2018

Generative Adversarial Networks and Image Synthesis被引用 89

一句话总结

FIDO 通过对可能的反事实输入进行边缘化来解释图像分类器，使用强条件生成模型填充被遮蔽区域，产生简洁、分布一致的显著性地图。

ABSTRACT

When an image classifier makes a prediction, which parts of the image are relevant and why? We can rephrase this question to ask: which parts of the image, if they were not seen by the classifier, would most change its decision? Producing an answer requires marginalizing over images that could have been seen but weren't. We can sample plausible image in-fills by conditioning a generative model on the rest of the image. We then optimize to find the image regions that most change the classifier's decision after in-fill. Our approach contrasts with ad-hoc in-filling approaches, such as blurring or injecting noise, which generate inputs far from the data distribution, and ignore informative relationships between different parts of the image. Our method produces more compact and relevant saliency maps, with fewer artifacts compared to previous methods.

研究动机与目标

• 为差分可微图像分类器提供可解释的解释而动机化，方法是问在哪些图像区域若不可见会最显著改变决策。
• 超越启发式的反填充（如模糊处理），通过生成模型对数据分布进行条件化。
• Develop a scalable, model-agnostic saliency framework that marginalizes over unobserved pixels.
• Promote compact, artifact-free explanations that respect contextual relationships in images.

提出的方法

• 将显著性定义为对掩蔽图像区域进行边缘化，使用条件生成模型对 plausible fills 进行采样。
• 用伯努利 dropout 分布来表示掩码，并优化其参数，以在 SDR/SSR 目标下最小化/最大化分类器置信度。
• 使用 Concrete/Gumbel-softmax 重参数化以实现对二进制掩码的梯度优化。
• 用强生成模型（如 CA-GAN）在未遮挡上下文条件下对 drop-out 区域进行填充。
• 比较 SDR 与 SSR 目标，选择 SSR 以更好地与训练数据保持一致、减少伪影。
• 提供实用算法（BBMP 与 FIDO）并讨论实现细节以实现高效优化。

实验结果

研究问题

• RQ1 如何在保持数据分布内的前提下，识别移除或替换哪些图像区域最影响分类器输出？
• RQ2 相比启发式填充，使用强条件生成模型进行填充是否能提高显著性地图的质量与 plausibility？
• RQ3 在实际填充条件下，哪种目标函数（SDR 或 SSR）能给出更真实、少伪影的解释？
• RQ4 不同的填充方法与分类器架构如何影响显著性质量与计算效率？
• RQ5 该方法是否可扩展到 ImageNet，并提供具对比性的弱监督定位性能？

主要发现

• FIDO 产生的显著性地图比启发式填充或先前方法更紧凑且无伪影。
• 生成式填充（如 CA-GAN）在目标概率更高、伪影更少方面优于评估图像中的启发式填充。
• 使用带强生成填充的 SSR 相比 SDR 能提供更一致的解释，后者可能引入伪影。
• FIDO-CA 显著性地图集中在保持分类器置信度的上下文像素上，往往与人类相关区域对齐，同时尊重数据流形。
• ImageNet 的定量评估显示在定位指标上优于基线和先前的显著性方法。
• 消融研究表明离散掩码建模（伯努利 dropout）与具表达力的填充对于获得最佳解释都是必需的。