[论文解读] Grad-CAM: Why did you say that? Visual Explanations from Deep Networks via Gradient-based Localization

Ramprasaath R. Selvaraju, Abhishek Das+4 more|arXiv (Cornell University)|Jan 1, 2016

Multimodal Machine Learning Applications被引用 75

一句话总结

本文提出Grad-CAM，一种通过利用最终卷积层的梯度信息来生成基于CNN模型的类别判别性视觉解释的技术，以定位图像中重要的区域。该方法无需微调即可泛化类激活映射（Class Activation Mapping），在弱监督定位任务中优于基于梯度的可视化方法，并通过高分辨率可视化（如Guided Grad-CAM）为图像分类、图像字幕生成和视觉问答（VQA）模型提供可解释的洞察。

ABSTRACT

We propose a technique for making Convolutional Neural Network (CNN)-based models more transparent by visualizing the regions of input that are important for predictions from these models - or visual explanations. Our approach, called Gradient-weighted Class Activation Mapping (Grad-CAM), uses the class-specific gradient information flowing into the final convolutional layer of a CNN to produce a coarse localization map of the important regions in the image. Grad-CAM is a strict generalization of the Class Activation Mapping. Unlike CAM, Grad-CAM requires no re-training and is broadly applicable to any CNN-based architectures. We also show how Grad-CAM may be combined with existing pixel-space visualizations to create a high-resolution class-discriminative visualization (Guided Grad-CAM). We generate Grad-CAM and Guided Grad-CAM visual explanations to better understand image classification, image captioning, and visual question answering (VQA) models. In the context of image classification models, our visualizations (a) lend insight into their failure modes showing that seemingly unreasonable predictions have reasonable explanations, and (b) outperform pixel-space gradient visualizations (Guided Backpropagation and Deconvolution) on the ILSVRC-15 weakly supervised localization task. For image captioning and VQA, our visualizations expose the somewhat surprising insight that common CNN + LSTM models can often be good at localizing discriminative input image regions despite not being trained on grounded image-text pairs. Finally, we design and conduct human studies to measure if Guided Grad-CAM explanations help users establish trust in the predictions made by deep networks. Interestingly, we show that Guided Grad-CAM helps untrained users successfully discern a stronger deep network from a weaker one even when both networks make identical predictions.

研究动机与目标

• 通过生成预测的局部化视觉解释，提高深度卷积神经网络（CNN）的可解释性。
• 开发一种无需微调且适用于任何CNN架构的方法。
• 通过可解释的可视化，使用户能够理解并信任深度神经网络的预测结果。
• 探究视觉解释是否能在预测结果相同的情况下，帮助用户区分性能更强与更弱的模型。

提出的方法

• Grad-CAM通过计算流入最终卷积层的类别特定梯度信息，生成相关图像区域的粗略定位图。
• 它利用梯度的全局平均池化来加权特征图，生成突出判别性区域的热力图。
• 该方法是类激活映射（Class Activation Mapping, CAM）的泛化，消除了对全局平均池化层或模型微调的需求。
• Guided Grad-CAM结合Grad-CAM与引导反向传播，生成高分辨率、类别判别性的可视化结果。
• 该方法被应用于图像分类、图像字幕生成和视觉问答（VQA）模型，以分析注意力机制与预测依据。
• 通过人类实验评估Guided Grad-CAM是否提升用户信任度与模型可解释性。

实验结果

研究问题

• RQ1 基于梯度的定位方法是否能在不微调模型的前提下，提供可靠且可解释的深度CNN预测解释？
• RQ2 Grad-CAM在定位准确性方面与现有像素空间可视化方法（如引导反向传播和去卷积）相比如何？
• RQ3 Grad-CAM在多大程度上能够揭示未显式在图像-文本配对数据上训练的模型（如图像字幕生成和VQA）的预测推理过程？
• RQ4 像Guided Grad-CAM这样的视觉解释是否能帮助未经训练的用户在两个模型预测结果相同时，正确区分性能更强与更弱的模型？

主要发现

• 在ILSVRC-15弱监督定位基准测试中，Grad-CAM优于基于像素空间梯度的可视化方法（如引导反向传播和去卷积）。
• Grad-CAM的可视化结果表明，看似错误的预测往往在输入图像中存在合理且局部化的依据。
• 在图像字幕生成和VQA任务中，Grad-CAM显示，即使未在图像-文本配对数据上训练，CNN+LSTM模型也能定位到相关图像区域。
• 人类实验表明，当两个模型做出相同预测时，Guided Grad-CAM能帮助未经训练的用户正确识别出性能更强的模型。
• 视觉解释揭示了模型的失败模式，并突出显示了模型对语义上有意义图像区域的依赖，从而增强了可解释性。