[论文解读] Efficient Saliency Maps for Explainable AI

T. Nathan Mundhenk, Barry Y. Chen+1 more|arXiv (Cornell University)|Nov 26, 2019

Explainable Artificial Intelligence (XAI)参考文献 31被引用 47

一句话总结

Introduces SMOE Scale 信赖度图，来自来自五个网络尺度在单次前向传播中计算，产生高效且准确的 XAI 映射，与基于梯度的方法相媲美，且可选的分层有序可视化（LOVI）用于尺度感知的解释。

ABSTRACT

We describe an explainable AI saliency map method for use with deep convolutional neural networks (CNN) that is much more efficient than popular fine-resolution gradient methods. It is also quantitatively similar or better in accuracy. Our technique works by measuring information at the end of each network scale which is then combined into a single saliency map. We describe how saliency measures can be made more efficient by exploiting Saliency Map Order Equivalence. We visualize individual scale/layer contributions by using a Layer Ordered Visualization of Information. This provides an interesting comparison of scale information contributions within the network not provided by other saliency map methods. Using our method instead of Guided Backprop, coarse-resolution class activation methods such as Grad-CAM and Grad-CAM++ seem to yield demonstrably superior results without sacrificing speed. This will make fine-resolution saliency methods feasible on resource limited platforms such as robots, cell phones, low-cost industrial devices, astronomy and satellite imagery.

研究动机与目标

• 激发对适用于实时或嵌入式使用的高效、细粒度显著性图的需求。
• 开发一种显著性估计框架，在标准前向传播过程中通过分析尺度末端激活来实现。
• 提出一个统计学依据、计算成本低的显著性统计量（SMOE Scale），并展示其鲁棒性。
• 引入一种将多尺度显著性图组合成单一可视化的方法（LOVI），在 HSV 编码中表示层贡献。
• 用 ROAR/KAR 指标将该方法与最先进的显著性技术进行比较，并评估效率。

提出的方法

• 在卷积神经网络的每个空间尺度末端计算显著性图（例如 ResNet-50 的五个尺度）。
• 定义一个快速显著性统计量（SMOE Scale），其源自简化的 Gamma 尺度参数估计，表示为跨通道激活的平均激活乘以对数信息项（式 (Eq. 2)）。
• 假设显著性图顺序等价性（SMOE），以避免完整的迭代估计并保持显著像素的排序。
• 对每个尺度的显著性图使用正态分布 CDF 的逐图 0-1 转换进行归一化，然后上采样到输入大小并用加权平均结合（式 (Eq. 3)）。
• 通过在 HSV 颜色空间中对每个位置的尺度贡献进行编码，提供信息的分层有序可视化（LOVI）（色相 = 层质心，饱和度 = 稀疏性/唯一性，明度 = 最大激活值）。
• 可选地将 SMOE Scale 与 Grad-CAM++ 融合，形成更强的综合显著性信号。

实验结果

研究问题

• RQ1 单次前向传播派生的多尺度显著性方法是否能够在大幅降低计算量的同时达到甚至超过基于梯度的显著性方法（例如 Guided Backprop、Grad-CAM）的准确性？
• RQ2 通过 SMOE Scale 及简单归一化将尺度级显著性图组合，是否能在多种架构和数据集上产生鲁棒、可解释的可视化？
• RQ3 多尺度可视化（LOVI）是否能提供关于信息如何在网络各阶段分布的可操作性见解？
• RQ4 ROAR 与 KAR 指标在标准基准上如何评估提出的显著性图相对于现有方法的质量？
• RQ5 将 SMOE Scale 与 Grad-CAM++ 融合对显著性准确性和速度的定量与定性影响如何？

主要发现

• SMOE Scale 在多数据集上实现强劲的 KAR/ROAR 性能，优于若干快速的基于梯度的方法。
• 该方法在前向传播过程中仅处理五层，带来显著的速度优势，开销可忽略。
• LOVI 使尺度级贡献的可解释性成为可能，突出早期与晚期网络阶段对显著性的贡献。
• 将 SMOE Scale 与 Grad-CAM++ 结合，在保持相对于全梯度方法的快速推断的同时，提升整体显著性准确性。
• 与基于全反向传播的显著性方法相比，SMOE Scale 在所测试任务中显示出相当或更高的效率和具有竞争力的准确性。