[论文解读] Explaining the Unexplained: A CLass-Enhanced Attentive Response (CLEAR) Approach to Understanding Deep Neural Networks

Devinder Kumar, Alexander Wong+1 more|arXiv (Cornell University)|Apr 13, 2017

Explainable Artificial Intelligence (XAI)参考文献 3被引用 11

一句话总结

本文提出了CLEAR（类别增强注意力响应）这一新型可视化方法，通过联合可视化注意力区域、其激活水平以及影响每个区域的主导类别，实现对深度神经网络决策的解释。与仅显示注意力强度的热力图方法不同，CLEAR提供了多因素可解释性，显著降低了决策模糊性，并提升了对DNN在多个数据集上做出特定预测原因的理解。

ABSTRACT

In this work, we propose CLass-Enhanced Attentive Response (CLEAR): an approach to visualize and understand the decisions made by deep neural networks (DNNs) given a specific input. CLEAR facilitates the visualization of attentive regions and levels of interest of DNNs during the decision-making process. It also enables the visualization of the most dominant classes associated with these attentive regions of interest. As such, CLEAR can mitigate some of the shortcomings of heatmap-based methods associated with decision ambiguity, and allows for better insights into the decision-making process of DNNs. Quantitative and qualitative experiments across three different datasets demonstrate the efficacy of CLEAR for gaining a better understanding of the inner workings of DNNs during the decision-making process.

研究动机与目标

• 为解决基于热力图的可解释性方法在深度神经网络中的关键局限性，即无法解释为何某些图像区域会影响决策。
• 开发一种可视化技术，不仅捕捉注意力位置和强度，还关联每个注意力区域的主导类别。
• 通过提供决策过程的多维视图，减少DNN中的决策模糊性，从而在高风险应用中提升信任度与可解释性。
• 通过实证验证该方法在多样化数据集上的有效性，证明其相比现有方法能提供对DNN行为更深入的理解。

提出的方法

• 该方法利用训练好的DCNN的最后层，为每个类别分别计算个体注意力响应图。
• 生成一个主导注意力响应图，突出显示所有类别中每个空间位置的最高激活水平。
• 构建一个主导类别注意力图，将激活最高的类别分配给每个空间位置。
• 将这两个图——主导响应图与主导类别图——融合，生成最终的CLEAR图，其中颜色表示主导类别，强度反映激活强度。
• 该方法与基于反卷积的显著性方法兼容，可扩展至其他归因技术（如LRP或Deep Taylor分解）。
• 该方法应用于MNIST、CIFAR-100和Stanford Dogs数据集的图像，用于可视化和分析决策过程。

实验结果

研究问题

• RQ1 如何在简单注意力热力图之外，进一步提升深度神经网络决策的可解释性？
• RQ2 特定图像区域及其关联类别在影响DNN最终预测中起到何种作用？
• RQ3 通过可视化每个注意力区域的主导类别，能否有效降低理解DNN为何做出特定决策的模糊性？
• RQ4 CLEAR图中识别出的强特征与正确分类的相关性有多大？
• RQ5 CLEAR在揭示DNN真实决策依据方面，与现有基于热力图的方法相比表现如何？

主要发现

• CLEAR图通过不仅显示网络关注的位置，还标明每个区域中最具影响力的类别，有效降低了决策模糊性。
• 实验表明，CLEAR识别出的最强特征对正确分类至关重要，移除这些特征会显著降低准确率。
• 在移除强特征后仍能进行分类的情况下，网络通常依赖冗余或相似的特征，表明通过特征复制实现了鲁棒性。
• 对于误分类样本，CLEAR图揭示了错误预测是由错误类别激活更高（例如，对藏獒的激活高于吉娃娃）所致，从而解释了失败机制。
• 该方法成功可视化出DNN中的类别证据是局部化且稀疏的，源自特征空间中特定的非均匀区域。
• 与热力图和二值图相比，CLEAR图在可解释性方面表现更优，尤其在模型关注正确特征但仍然误分类的情况下。