[论文解读] CAMERAS: Enhanced Resolution And Sanity preserving Class Activation Mapping for image saliency

Mohammad A. A. K. Jalwana, Naveed Akhtar+2 more|arXiv (Cornell University)|Jun 20, 2021

Adversarial Robustness in Machine Learning参考文献 35被引用 6

一句话总结

CAMERAS 提出了一种基于反向传播的显著性方法，通过系统性地融合多尺度激活图与梯度，无需外部先验知识，显著提升了分辨率并保持了显著图的合理性。该方法在指向游戏基准测试中实现了高达 27.5% 的误差降低，并实现了精确的显著性映射，从而提升了模型可解释性与对抗性攻击的效率。

ABSTRACT

Backpropagation image saliency aims at explaining model predictions by estimating model-centric importance of individual pixels in the input. However, class-insensitivity of the earlier layers in a network only allows saliency computation with low resolution activation maps of the deeper layers, resulting in compromised image saliency. Remedifying this can lead to sanity failures. We propose CAMERAS, a technique to compute high-fidelity backpropagation saliency maps without requiring any external priors and preserving the map sanity. Our method systematically performs multi-scale accumulation and fusion of the activation maps and backpropagated gradients to compute precise saliency maps. From accurate image saliency to articulation of relative importance of input features for different models, and precise discrimination between model perception of visually similar objects, our high-resolution mapping offers multiple novel insights into the black-box deep visual models, which are presented in the paper. We also demonstrate the utility of our saliency maps in adversarial setup by drastically reducing the norm of attack signals by focusing them on the precise regions identified by our maps. Our method also inspires new evaluation metrics and a sanity check for this developing research direction. Code is available here https://github.com/VisMIL/CAMERAS

研究动机与目标

• 解决深度神经网络中由于类别无关的早期层导致的基于反向传播方法显著性图分辨率低下的局限性。
• 消除对外部先验或启发式方法的依赖，避免损害显著性图的合理性与模型保真度。
• 仅使用单个网络层即可实现高精度、高分辨率的显著性映射，避免组合式层选择的复杂性。
• 为深度学习可解释性中的显著性方法提供新的评估指标与像素级合理性检查。
• 通过聚焦显著区域以减少扰动范数，同时保持欺骗性置信度，展示在对抗性攻击中的实用性。

提出的方法

• 从单个网络层系统性地累积并融合多尺度激活图与反向传播梯度，生成高分辨率显著性图。
• 对融合后的显著图应用 ReLU 和 L2 归一化，确保显著性得分非负且归一化。
• 将归一化的显著性图直接嵌入原始输入图像分辨率，无需插值或外部先验。
• 利用深度网络的可微性，端到端计算梯度，保持以模型为中心的归因特性。
• 在 PGD 对抗性攻击框架中引入 CAMERAS 显著性图，将扰动限制在高重要性区域。
• 通过评估随机化网络层权重对显著性图与模型预测的影响，开发像素级合理性检查。

实验结果

研究问题

• RQ1 能否在不依赖外部先验或启发式方法的前提下，为深度视觉模型生成高分辨率且保持合理性的显著图？
• RQ2 精确的显著性映射在多大程度上揭示了不同深度神经网络架构在特征关注上的差异？
• RQ3 高保真显著图在多大程度上能通过降低扰动范数来提升对抗性攻击的效率？
• RQ4 针对高精度显著性方法，需要哪些新的评估指标与合理性检查？
• RQ5 显著性图在多大程度上揭示了模型对视觉上相似物体（如链式围栏与秋千）的以模型为中心的区分能力？

主要发现

• CAMERAS 在指向游戏指标上实现了高达 27.5% 的误差降低，显著优于当前最先进方法。
• 该方法能够清晰可视化不同模型在细粒度特征关注上的差异，例如在视觉相似物体中对链环节点与整体结构的不同关注。
• 在与 PGD 结合时，CAMERAS 将平均扰动范数降低了 56.5%，同时在 ImageNet 上保持 99.99% 的欺骗性置信度。
• CAMERAS 计算的显著性图通过了严格的像素级合理性检查：随机化网络权重会导致显著性图成比例退化，证实了其完整性。
• 由于无需外部先验，该方法能够检测到以往未见的、与模型相关的视觉相似类别在特征重要性上的独特差异。
• CAMERAS 引入了两项新评估指标与一个像素级合理性检查，推动了深度学习中高保真显著性评估的标准化。