[论文解读] Score-CAM: Score-Weighted Visual Explanations for Convolutional Neural Networks

Haofan Wang, Zifan Wang+6 more|arXiv (Cornell University)|Oct 3, 2019

Explainable Artificial Intelligence (XAI)参考文献 38被引用 93

一句话总结

Score-CAM 引入一种无梯度、基于分数的激活图权重用于后期视觉解释，在识别和定位任务中优于先前的 CAM/Grad-CAM 变体。

ABSTRACT

Recently, increasing attention has been drawn to the internal mechanisms of convolutional neural networks, and the reason why the network makes specific decisions. In this paper, we develop a novel post-hoc visual explanation method called Score-CAM based on class activation mapping. Unlike previous class activation mapping based approaches, Score-CAM gets rid of the dependence on gradients by obtaining the weight of each activation map through its forward passing score on target class, the final result is obtained by a linear combination of weights and activation maps. We demonstrate that Score-CAM achieves better visual performance and fairness for interpreting the decision making process. Our approach outperforms previous methods on both recognition and localization tasks, it also passes the sanity check. We also indicate its application as debugging tools. Official code has been released.

研究动机与目标

• 在不依赖梯度的前提下，为 CNN 决策提供更好的可视化解释。
• 提出基于每个激活图的 Confidence 增长 (CIC) 的无梯度加权机制。
• 展示 Score-CAM 在保真度与定位方面的优越性，同时通过合理性检查并支持调试工具。

提出的方法

• 定义 Confidence 增量（Increase of Confidence）来量化激活图的重要性。
• 通过用上采样、归一化后的激活图对输入进行遮罩，并测量类别分数的变化来计算每个激活图的 CIC。
• 使用 softmax 归一化后的 CIC 分数对激活图加权，并将最终图表示为对激活图的 ReLU 加权线性组合。
• 在最终解释中使用 post-softmax 分数作为权重，以改善对类别的判别。
• 提供一个实用算法（算法 1），用于在任意卷积层实现 Score-CAM。
• 在目标区域检测和定位方面，将 Score-CAM 与 Grad-CAM、Grad-CAM++ 及其他基线进行比较。

实验结果

研究问题

• RQ1 无梯度、基于分数的激活图加权是否能提供比基于梯度的 CAM 变体更忠实且更具判别性的可视化解释？
• RQ2 与 Grad-CAM/Grad-CAM++ 相比，Score-CAM 在识别精度、定位和合理性检查方面的表现如何？
• RQ3 Score-CAM 能否作为调试模型异常行为和数据集偏差的有用工具？

主要发现

方法	平均下降 (%)	平均提升 (%)
遮罩	63.5	5.29
RISE	47.0	14.0
GradCAM	47.8	19.6
GradCAM++	45.5	18.9
ScoreCAM	31.5	30.6

• Score-CAM 产生的显著性图比若干基线更平滑、噪声更少。
• 在识别任务中，Score-CAM 相较于竞争方法实现更高的 Average Increase 且更低的 Average Drop（如在所列表中，ScoreCAM 的 Average Drop 为 31.5%/Average Increase 为 30.6%，而其他方法分别为 63.5%/31.5%）。
• Score-CAM 提高定位，在部分图像上显著性图的能量超过 60% 落在目标对象边界框内。
• Score-CAM 通过显著性图的合理性检查（对模型参数敏感；通过随机化测试）。
• Score-CAM 在删除/插入评估中显示更强的忠实度（相对于 Grad-CAM/Grad-CAM++，插入 AUC 更高，删除 AUC 更低）。
• 通过比较预测类与目标类之间的显著性图，Score-CAM 可以帮助调试模型异常行为并揭示数据集偏差。