[论文解读] Visual Explanation by Interpretation: Improving Visual Feedback Capabilities of Deep Neural Networks

José Oramas, Kaili Wang+1 more|arXiv (Cornell University)|Dec 18, 2017

Explainable Artificial Intelligence (XAI)参考文献 36被引用 26

一句话总结

本文提出一种方法，通过自动识别分类任务中的相关内部特征，并使用改进的反卷积方法生成高保真、伪影减少的视觉解释，从而提升深度神经网络中的视觉反馈。该方法引入了一个新数据集 an8Flower，用于对解释方法进行客观、定量的评估，展示了在无需额外标注的情况下，优越的特征覆盖范围和可解释性。

ABSTRACT

Interpretation and explanation of deep models is critical towards wide adoption of systems that rely on them. In this paper, we propose a novel scheme for both interpretation as well as explanation in which, given a pretrained model, we automatically identify internal features relevant for the set of classes considered by the model, without relying on additional annotations. We interpret the model through average visualizations of this reduced set of features. Then, at test time, we explain the network prediction by accompanying the predicted class label with supporting visualizations derived from the identified features. In addition, we propose a method to address the artifacts introduced by stridded operations in deconvNet-based visualizations. Moreover, we introduce an8Flower, a dataset specifically designed for objective quantitative evaluation of methods for visual explanation.Experiments on the MNIST,ILSVRC12,Fashion144k and an8Flower datasets show that our method produces detailed explanations with good coverage of relevant features of the classes of interest

研究动机与目标

• 通过在深度神经网络中实现具有视觉描述性的预测，弥合模型解释与解释之间的差距。
• 通过利用现有的训练标签，消除对昂贵的像素级标注在视觉解释中的依赖。
• 解决由步幅操作引起的基于反卷积的可视化方法中的伪影问题。
• 通过一个新合成数据集 an8Flower，提供一种客观、定量的解释方法评估基准。
• 通过聚焦于网络滤波器中稀疏、任务相关的子集，提升视觉反馈的质量与相关性。

提出的方法

• 该方法将滤波器选择建模为 μ-lasso 优化问题，以识别对目标类别最具预测性的最小滤波器集合。
• 通过这些选定滤波器的平均可视化，解释模型所学习的表征。
• 在测试阶段，通过使用改进的基于反卷积的方法，从选定滤波器反向传播激活，生成特定类别的热力图，以减少步幅层引起的伪影。
• 在反卷积流程中引入引导反向传播，以增强空间精度和特征定位能力。
• 提出 an8Flower，一个具有受控区分性特征的合成数据集，支持生成真实标签掩码，用于定量评估。
• 通过类别敏感性分析评估解释质量，确保可视化结果随预测类别发生有意义的变化。

实验结果

研究问题

• RQ1 基于DNN的解释方法是否能在无需额外像素级标注的情况下，实现高质量、无伪影的视觉反馈？
• RQ2 如何在预训练模型中自动识别给定类别相关的内部特征？
• RQ3 视觉解释在多大程度上对预测类别保持敏感，以确保其反映模型决策而非输入伪影？
• RQ4 能否设计一个合成数据集，以实现对解释方法的客观、定量评估？
• RQ5 与现有解释技术相比，该方法在特征覆盖范围和视觉保真度方面表现如何？

主要发现

• 所提方法在 MNIST、ILSVRC12、Fashion144k 和 an8Flower 数据集上，生成了细节丰富的视觉解释，显著覆盖了相关特征。
• 通过使用 μ-lasso 进行滤波器选择，该方法识别出稀疏但具有意义的滤波器子集，这些滤波器对目标类别具有高度预测性。
• 改进的反卷积流程显著减少了由步幅操作引起的伪影，与标准 DeconvNet 相比，提升了可视化质量。
• 该方法对预测类别表现出高度敏感性：不同类别的解释突出显示图像中不同的区域，证实其与模型决策的相关性。
• an8Flower 数据集支持对解释方法进行客观、定量的评估，可提供真实标签掩码用于对比。
• 评估无需用户研究，因为该方法的性能通过受控、可复现的基准和可测量指标得到验证。