[论文解读] Group-CAM: Group Score-Weighted Visual Explanations for Deep Convolutional Networks

Qinglong Zhang, Lu Rao+1 more|arXiv (Cornell University)|Mar 25, 2021

Explainable Artificial Intelligence (XAI)参考文献 23被引用 33

一句话总结

Group-CAM 通过对特征图分组、对初始掩膜进行去噪、并在扰动后按类别置信度进行加权，高效生成与目标相关的显著性图，相较于现有方法在更少的网络查询次数下实现更好的解释。

ABSTRACT

In this paper, we propose an efficient saliency map generation method, called Group score-weighted Class Activation Mapping (Group-CAM), which adopts the "split-transform-merge" strategy to generate saliency maps. Specifically, for an input image, the class activations are firstly split into groups. In each group, the sub-activations are summed and de-noised as an initial mask. After that, the initial masks are transformed with meaningful perturbations and then applied to preserve sub-pixels of the input (i.e., masked inputs), which are then fed into the network to calculate the confidence scores. Finally, the initial masks are weighted summed to form the final saliency map, where the weights are confidence scores produced by the masked inputs. Group-CAM is efficient yet effective, which only requires dozens of queries to the network while producing target-related saliency maps. As a result, Group-CAM can be served as an effective data augment trick for fine-tuning the networks. We comprehensively evaluate the performance of Group-CAM on common-used benchmarks, including deletion and insertion tests on ImageNet-1k, and pointing game tests on COCO2017. Extensive experimental results demonstrate that Group-CAM achieves better visual performance than the current state-of-the-art explanation approaches. The code is available at https://github.com/wofmanaf/Group-CAM.

研究动机与目标

• 为 CNN 决策提供高效、具辨别力的可视化解释，以增进信任和可解释性。
• 开发比 RISE 更快的显著性方法，同时保持或提升解释质量。
• 利用拆分-变换-合并策略生成基于分组的初始掩膜，并按类别置信分数对其进行加权。

提出的方法

• 将类别激活分成 G 组，在每组内对梯度加权的激活求和以形成初始掩膜。
• 对初始掩膜进行去噪并归一化，以创建平滑且保持像素细节的掩膜。
• 对输入的未遮盖区域进行模糊，并从扰动输入中计算置信增益以对掩膜进行加权。
• 用权重（置信分数）对掩膜输入进行聚合，通过加权和形成最终显著性图。
• 在 ImageNet-1k 和 COCO2017 上，将效率和可视化质量与 RISE、XRAI、Grad-CAM 和 Score-CAM 进行对比。

实验结果

研究问题

• RQ1 Group-CAM 是否能够在显著减少网络查询次数的同时生成与目标更相关的显著性图？
• RQ2 基于分组掩膜与扰动的方法是否在视觉质量和定位性能上均优于现有最先进的解释方法？
• RQ3 Group-CAM 能否作为微调分类器的有效数据增强技术？

主要发现

• Group-CAM 在 ImageNet-1k 的插入/删除测试中，总体解释性能（AUC）超过 Grad-CAM、Grad-CAM++、RISE、XRAI 和 Score-CAM，达到 56.8 插入 AUC、12.3 删除 AUC、44.5 总体 AUC。
• 在 ImageNet-1k 上，Group-CAM 在 COCO val2017 的定位（指向游戏）性能优于竞争对手，平均准确度为 57.5，Grad-CAM 为 56.7。
• Group-CAM 运行极快（在 G=32 时约 0.09 秒/张图），在运行时与 Grad-CAM 具有竞争力，同时给出更好的解释。
• 消融研究表明，增大分组数量 G 能提升总体分数，阈值 theta 约为 70 时性能更强。