[论文解读] Explaining Convolutional Neural Networks using Softmax Gradient Layer-wise Relevance Propagation

Brian Kenji Iwana, Ryohei Kuroki+1 more|arXiv (Cornell University)|Aug 6, 2019

Explainable Artificial Intelligence (XAI)参考文献 42被引用 21

一句话总结

本文提出了一种新型方法——Softmax-Gradient Layer-wise Relevance Propagation（SGLRP），通过利用softmax输出的梯度作为反向传播的相关性信号，增强了Layer-wise Relevance Propagation（LRP）方法，实现了类判别性的像素级归因。SGLRP在定位目标物体和抑制无关特征方面优于现有的基于LRP的方法，尤其在存在遮挡或竞争类别的多类别场景中表现更优。

ABSTRACT

Convolutional Neural Networks (CNN) have become state-of-the-art in the field of image classification. However, not everything is understood about their inner representations. This paper tackles the interpretability and explainability of the predictions of CNNs for multi-class classification problems. Specifically, we propose a novel visualization method of pixel-wise input attribution called Softmax-Gradient Layer-wise Relevance Propagation (SGLRP). The proposed model is a class discriminate extension to Deep Taylor Decomposition (DTD) using the gradient of softmax to back propagate the relevance of the output probability to the input image. Through qualitative and quantitative analysis, we demonstrate that SGLRP can successfully localize and attribute the regions on input images which contribute to a target object's classification. We show that the proposed method excels at discriminating the target objects class from the other possible objects in the images. We confirm that SGLRP performs better than existing Layer-wise Relevance Propagation (LRP) based methods and can help in the understanding of the decision process of CNNs.

研究动机与目标

• 为解决深度卷积神经网络在多类别图像分类中的可解释性挑战，特别是其‘黑箱’特性。
• 通过引入类判别能力，改进现有基于LRP的可视化方法，以抑制无关或冲突的特征。
• 开发一种方法，即使在多个类别共存的情况下，也能准确地将输入像素的相关性归因于特定目标类别。
• 在定性和定量设置下评估该方法的性能，包括定位能力以及对遮挡的鲁棒性。

提出的方法

• SGLRP通过使用softmax输出的梯度作为初始相关性信号，扩展了LRP方法，实现了类别特异性归因。
• 该方法利用softmax函数的梯度在网络中反向传播相关性，其本身能够自然地考虑非目标类别的概率。
• 通过改进的Deep Taylor Decomposition（DTD）方法，逐层重新分配相关性，以softmax梯度作为起点。
• 通过利用softmax函数的导数，从非目标类别中减去相关性，从而增强类判别能力。
• 该方法生成像素级相关性图，突出显示对预测类别有贡献的区域，同时抑制背景和干扰物体。
• SGLRP使用iNNvestigate库实现，并在ImageNet数据集上对VGG16模型进行了评估。

实验结果

研究问题

• RQ1 在多类别图像分类中，SGLRP是否能生成比现有基于LRP的方法更具类判别性的相关性图？
• RQ2 当存在多个类别或目标被遮挡时，SGLRP在定位目标物体方面的表现如何？
• RQ3 与标准LRP相比，使用softmax梯度作为初始相关性信号是否能提升归因的鲁棒性和准确性？
• RQ4 在定位精度和能量分布方面，SGLRP与Guided Grad-CAM和CLRP等其他可解释性方法相比表现如何？

主要发现

• 在能量水平≥67%时，SGLRP在所有基于LRP的方法中达到了最高的指向准确率，表明其具有更优的定位精度。
• 在能量水平低于67%时，Guided Grad-CAM表现优于SGLRP，但随着能量阈值升高，SGLRP超越了Guided Grad-CAM，显示出对噪声和背景伪影更强的鲁棒性。
• 在补丁移除评估中，SGLRP优于CLRP及其他LRP变体，尤其在目标为第二高概率类别时表现更优，证明了其强大的类判别能力。
• 即使在包含多个干扰物的复杂场景中（如图7中的(a)蜘蛛、(b)人物、(c)吉他），该方法仍能成功定位目标物体。
• 随机基线的指向准确率接近零，证实SGLRP的性能并非偶然所致。
• SGLRP利用softmax梯度有效抑制了非目标类别的相关性，减少了归因图中的假阳性。