[论文解读] Explaining Convolutional Neural Networks through Attribution-Based Input Sampling and Block-Wise Feature Aggregation

Sam Sattarzadeh, Mahesh Sudhakar+8 more|arXiv (Cornell University)|Oct 1, 2020

Explainable Artificial Intelligence (XAI)参考文献 31被引用 14

一句话总结

本文提出SISE，一种新颖的XAI方法，通过聚合来自多个中间卷积模块的基于归因的输入采样图，提升CNN的视觉可解释性，生成高分辨率、类别判别性强的解释图。通过采用逐层特征归因的模块化选择策略与优化融合机制，SISE在自然数据集和工业数据集上的视觉质量与解释完整性方面均优于当前最先进方法。

ABSTRACT

As an emerging field in Machine Learning, Explainable AI (XAI) has been offering remarkable performance in interpreting the decisions made by Convolutional Neural Networks (CNNs). To achieve visual explanations for CNNs, methods based on class activation mapping and randomized input sampling have gained great popularity. However, the attribution methods based on these techniques provide lower resolution and blurry explanation maps that limit their explanation power. To circumvent this issue, visualization based on various layers is sought. In this work, we collect visualization maps from multiple layers of the model based on an attribution-based input sampling technique and aggregate them to reach a fine-grained and complete explanation. We also propose a layer selection strategy that applies to the whole family of CNN-based models, based on which our extraction framework is applied to visualize the last layers of each convolutional block of the model. Moreover, we perform an empirical analysis of the efficacy of derived lower-level information to enhance the represented attributions. Comprehensive experiments conducted on shallow and deep models trained on natural and industrial datasets, using both ground-truth and model-truth based evaluation metrics validate our proposed algorithm by meeting or outperforming the state-of-the-art methods in terms of explanation ability and visual quality, demonstrating that our method shows stability regardless of the size of objects or instances to be explained.

研究动机与目标

• 解决现有CNN XAI方法中存在的空间分辨率低与归因不完整问题。
• 通过利用多个中间层的特征而非仅依赖最终卷积层，提升解释质量。
• 设计一种适用于所有前馈CNN架构的可泛化层选择策略。
• 通过基于归因的输入采样与特征聚合，增强解释图的视觉清晰度与完整性。
• 在多样化数据集与模型上，使用基于真实标签与基于模型真实性的评估指标验证该方法。

提出的方法

• 该方法采用基于归因的输入采样技术，从中间卷积模块提取可视化图，通过梯度敏感性识别显著的输入区域。
• 提出一种层选择策略，用于在任意前馈CNN中识别最具信息量的中间模块，确保全面的特征覆盖。
• 对选定层的特征图通过基于梯度的归因机制处理，计算像素级相关性得分。
• 融合模块采用可学习或加权线性组合方式，将各层特定的归因图合并，生成优化后的高分辨率解释图。
• 该方法应用阈值函数，为每个输入样本选择最具有影响力的前15%像素，用于计算基于扰动的评估指标。
• 框架采用改进的类似Score-CAM的聚合策略，通过聚焦语义层级中的相关特征，提升空间精度与类别判别能力。

实验结果

研究问题

• RQ1 多层特征聚合是否能提升CNN中解释图的空间分辨率与完整性？
• RQ2 如何设计一种可泛化的层选择策略，以在多样化CNN架构中提取有意义的中间表征？
• RQ3 基于归因的输入采样是否在解释质量与计算效率方面优于随机扰动方法？
• RQ4 低层特征在最终解释中贡献程度如何？如何与高层特征有效结合？
• RQ5 所提方法是否能在自然图像与工业异常检测数据集上均实现优越性能？

主要发现

• 在ResNet-101上使用基于模型真实性的指标，SISE取得61.06的Drop%与15.64的Increase%，优于Grad-CAM（67.44/12.46）、Grad-CAM++（64.10/12.96）、RISE（63.25/15.63）与Score-CAM（64.29/10.35）。
• 在Tesla T4 GPU上使用ResNet-50时，SISE推理时间仅为9.21秒，显著快于RISE（26.08秒）与Extremal Perturbation（78.37秒），同时保持高质量解释。
• 消融研究显示，将归因掩码数量从1900减少至200（μ=0.3）仅导致边界轻微退化，运行时间降至2.18秒。
• 进一步将μ增至0.5后，运行时间降至0.65秒，性能仅轻微下降，表明低梯度特征图贡献极小，可安全忽略。
• 定性结果表明，SISE生成的解释图比基于CAM与基于扰动的方法更清晰、更局部化，尤其在区分物体边界方面表现更优。
• 该方法在不同物体尺寸与实例类型下均表现稳定，表明其对输入尺度具有鲁棒性与一致性。