[论文解读] Efficient Image Evidence Analysis of CNN Classification Results

Keyang Zhou, Bernhard Kainz|arXiv (Cornell University)|Jan 5, 2018

Explainable Artificial Intelligence (XAI)参考文献 15被引用 3

一句话总结

本文提出了一种快速、抗噪的可视化方法，通过单次前向和反向传播计算基于梯度的显著性图，以揭示CNN分类决策背后的图像证据。通过将预测差异分析重新表述为在输入空间中计算期望，该方法在保持高可解释性的同时，将计算速度提升10倍，生成的证据图更加清晰，聚焦于相关图像区域。

ABSTRACT

Convolutional neural networks (CNNs) define the current state-of-the-art for image recognition. With their emerging popularity, especially for critical applications like medical image analysis or self-driving cars, confirmability is becoming an issue. The black-box nature of trained predictors make it difficult to trace failure cases or to understand the internal reasoning processes leading to results. In this paper we introduce a novel efficient method to visualise evidence that lead to decisions in CNNs. In contrast to network fixation or saliency map methods, our method is able to illustrate the evidence for or against a classifier's decision in input pixel space approximately 10 times faster than previous methods. We also show that our approach is less prone to noise and can focus on the most relevant input regions, thus making it more accurate and interpretable. Moreover, by making simplifications we link our method with other visualisation methods, providing a general explanation for gradient-based visualisation techniques. We believe that our work makes network introspection more feasible for debugging and understanding deep convolutional networks. This will increase trust between humans and deep learning models.

研究动机与目标

• 解决在医学影像和自动驾驶等关键应用中，缺乏高效、可解释的可视化方法来理解CNN决策的问题。
• 在保持或提升可解释性和抗噪能力的同时，降低证据可视化计算成本。
• 提供一个统一的框架，通过共同的数学公式将基于梯度的可视化技术联系起来。
• 实现对深度网络的快速自省，以支持调试、建立信任和模型验证。

提出的方法

• 提出了一种新的预测差异分析公式，将期望计算从输出空间转移到输入空间，避免了从高维分布中进行昂贵的采样。
• 通过一次前向和反向传播，利用分类器输出对输入像素的梯度，计算像素级别的重要性得分。
• 引入基于条件均值的基线 $ x_i' $ 来建模局部像素上下文，根据像素从邻近像素的可预测性来加权像素。
• 应用加权规则 $ R_i = \frac{\partial f}{\partial x_i} \cdot (x_i - x_i') $，突出那些偏离局部上下文的像素，从而增强对判别性特征的关注。
• 将方法简化为单次遍历算法以提升速度，尽管会引入更多噪声，从而可与其它基于梯度的技术进行比较。
• 通过揭示基于梯度归因的共同数学基础，将该方法与现有技术（如类别显著性图和Deep Taylor分解）联系起来。

实验结果

研究问题

• RQ1 我们能否在不牺牲可解释性的情况下，显著加速CNN分类决策的证据可视化？
• RQ2 通过条件期望建模像素上下文，是否能提升显著性图的质量和聚焦程度？
• RQ3 我们的方法与现有基于梯度的可视化技术（如类别显著性图和Deep Taylor分解）之间存在何种关系？
• RQ4 单次遍历、基于输入空间期望的公式是否能在速度和抗噪性方面超越多轮遍历、基于采样的方法？

主要发现

• 所提方法的运行速度至少比先前最先进方法 [19] 快10倍，通过减少前向传播次数并消除采样过程实现了显著加速。
• 与基线方法相比，该方法生成的可视化结果噪声更少，因为它直接在输入空间中计算期望，避免了在输出空间中的随机采样。
• 可视化结果更具可解释性，且更聚焦于相关图像区域，尤其能突出显示物体而非背景噪声。
• 简化版本的方法虽然速度更快，但结果更嘈杂，证实了完整公式的信号-噪声比更高。
• 该方法在数学上与类别显著性图和Deep Taylor分解相关联，表明三者均使用基于梯度的归因，但根据上下文或基点采用不同的加权规则。
• 当应用于同一类别的图像时，该方法能够识别出不变的、与类别相关的决策规则，从而支持对分类器在整个数据集上行为的分析。