[论文解读] IS-CAM: Integrated Score-CAM for axiomatic-based explanations

Rakshit Naidu, Ankita Ghosh+3 more|arXiv (Cornell University)|Oct 6, 2020

Explainable Artificial Intelligence (XAI)参考文献 12被引用 31

一句话总结

IS-CAM 将一个公理化归因概念融入 Score-CAM 流程，以在跨模型上产生更锐利、更加忠实的归因图，在 ILSVRC 2012 验证图像上进行评估。

ABSTRACT

Convolutional Neural Networks have been known as black-box models as humans cannot interpret their inner functionalities. With an attempt to make CNNs more interpretable and trustworthy, we propose IS-CAM (Integrated Score-CAM), where we introduce the integration operation within the Score-CAM pipeline to achieve visually sharper attribution maps quantitatively. Our method is evaluated on 2000 randomly selected images from the ILSVRC 2012 Validation dataset, which proves the versatility of IS-CAM to account for different models and methods.

研究动机与目标

• 激励在敏感应用中对 CNN 的可解释 AI。
• 开发一种无梯度的归因方法以实现更清晰的定位。
• 在 Score-CAM 框架中集成公理化归因概念。
• 在 ImageNet 验证数据上定量评估忠实度和定位。
• 展现跨多种 CNN 架构的通用性。

提出的方法

• 在 Score-CAM 流程中引入一个集成操作，以对输入掩模的多个区间计算平均分数。
• 将 N 定义为 [0,1] 区间的区间数量，并通过对规范化掩膜在各区间的分数求平均来计算集成显著性图（M0=0）。
• 使用归一化函数 s(A) = (A - min(A)) / (max(A) - min(A)) 来聚焦对象区域。
• 将显著性图表示为平均集成分数与上采样激活图的线性组合，随后如 Score-CAM 一样应用 ReLU。
• 通过对输入掩模的积分，将该方法基于公理化归因原则，以获得更清晰的归因图。
• 在 ImageNet 验证图像上，与 Grad-CAM、Grad-CAM++、Smooth Grad-CAM++、Score-CAM 和 SS-CAM 进行比较。

实验结果

研究问题

• RQ1 将公理化归因方法整合到 Score-CAM 能否产生更锐利、更加忠实的归因图？
• RQ2 IS-CAM 在 ImageNet 数据上跨多种架构的忠实度和定位能力如何？
• RQ3 集成区间参数 N 是否显著影响定性可视化或定量指标？
• RQ4 IS-CAM 与现有基于 CAM 的方法在边界框定位任务中如何比较？

主要发现

• IS-CAM 实现了具有竞争力的可视化归因质量，并在定量忠实度方面优于若干 CAM 基线。
• 在对 2000 张 ImageNet 图像的 Average Drop 与 Increase in Confidence（使用 VGG-16）评估中，IS-CAM 相对于 Score-CAM 和 SS-CAM 表现强劲。
• IS-CAM 在插入/删除分析的 AUC 得分上相对于基线 CAM 方法表现良好。
• 定位评估（基于能量的指向游戏）显示 IS-CAM 在 VGG-16、ResNet-18、SqueezeNet 变体中达到较高的比例，且在列出的方法中 VGG-16 取得最高值。
• 总体而言，IS-CAM 在多种架构中实现了对显著性和定位的平衡。