[论文解读] Explaining Image Classifiers by Adaptive Dropout and Generative In-filling.

Chun‐Hao Chang, Elliot Creager+2 more|arXiv (Cornell University)|Jul 20, 2018

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

本文提出了一种新颖的方法，通过使用条件生成模型来生成缺失区域的逼真图像填充，然后优化以识别那些缺失会最大程度改变分类器预测的区域。与使用模糊化或噪声等非自适应填充方法相比，该方法从数据分布中采样，从而生成更准确、更紧凑且无伪影的显著性图，相较于以往方法具有优势。

ABSTRACT

When an image classifier makes a prediction, which parts of the image are relevant and why? We can rephrase this question to ask: which parts of the image, if they were not seen by the classifier, would most change its decision? Producing an answer requires marginalizing over images that could have been seen but weren't. We can sample plausible image in-fills by conditioning a generative model on the rest of the image. We then optimize to find the image regions that most change the classifier's decision after in-fill. Our approach contrasts with ad-hoc in-filling approaches, such as blurring or injecting noise, which generate inputs far from the data distribution, and ignore informative relationships between different parts of the image. Our method produces more compact and relevant saliency maps, with fewer artifacts compared to previous methods.

研究动机与目标

• 解决现有显著性方法中因依赖不切实际的填充技术（如模糊化或噪声注入）而导致的归属不忠实问题。
• 通过识别对给定预测最具影响力的图像区域，提升深度图像分类器的可解释性。
• 通过从数据分布中生成合理填充，保留图像各部分之间的结构与语义关系，开发一种尊重这些关系的方法。
• 生成更紧凑且相关的显著性图，以更好地反映分类器的真实决策过程。

提出的方法

• 以图像中可见部分为条件，使用生成模型生成缺失区域的合理填充。
• 使用自适应丢弃系统性地掩蔽不同图像区域，并评估其对分类器输出的影响。
• 在掩蔽区域上进行优化，以识别那些填充后最显著改变分类器预测的区域。
• 利用生成模型生成逼真填充的能力，保留各部分之间的关系，避免分布不匹配问题。
• 将解释任务表述为对合理未见图像区域的边缘化问题，使用生成模型近似该分布。
• 结合分类器梯度与生成填充，生成反映真实模型行为的高保真显著性图。

实验结果

研究问题

• RQ1 哪些图像区域对分类器的预测最为关键，我们如何在不依赖启发式填充方法的情况下识别它们？
• RQ2 与标准基线相比，使用数据分布感知的填充方法在提升显著性图的质量与忠实度方面有何改进？
• RQ3 生成填充在在多大程度上保留了图像各部分之间的结构与语义关系，从而实现更准确的解释？
• RQ4 自适应丢弃与生成填充相结合，是否能产生比现有基于梯度或基于扰动的方法更紧凑、更少噪声的显著性图？

主要发现

• 所提出的方法生成的显著性图比使用模糊化或噪声注入的基线方法更紧凑，且伪影更少。
• 通过从数据分布中生成填充，该方法捕捉到了图像各部分之间的有意义关系，从而产生更忠实的解释。
• 该方法在识别相关图像区域方面优于非自适应填充技术，因为生成的填充更逼真且上下文一致。
• 利用条件生成能力，能够更好地对合理未见图像区域进行边缘化，从而提高解释的可靠性。