[论文解读] An Introduction to Deep Visual Explanation

Housam Khalifa Bashier Babiker, Randy Goebel|arXiv (Cornell University)|Nov 26, 2017

Data Visualization and Analytics参考文献 15被引用 14

一句话总结

本文提出了深度视觉解释（DVE）框架，通过多尺度傅里叶激活分析可视化判别性特征，实现对深度卷积神经网络（DCNNs）的解释。该方法无需微调即可高效识别影响预测结果的关键图像区域，在每张图像上处理时间不足0.0006秒，实现准确且可解释的解释，已在图像分类和医学皮肤病变诊断任务中得到验证。

ABSTRACT

The practical impact of deep learning on complex supervised learning problems has been significant, so much so that almost every Artificial Intelligence problem, or at least a portion thereof, has been somehow recast as a deep learning problem. The applications appeal is significant, but this appeal is increasingly challenged by what some call the challenge of explainability, or more generally the more traditional challenge of debuggability: if the outcomes of a deep learning process produce unexpected results (e.g., less than expected performance of a classifier), then there is little available in the way of theories or tools to help investigate the potential causes of such unexpected behavior, especially when this behavior could impact people's lives. We describe a preliminary framework to help address this issue, which we call "deep visual explanation" (DVE). "Deep," because it is the development and performance of deep neural network models that we want to understand. "Visual," because we believe that the most rapid insight into a complex multi-dimensional model is provided by appropriate visualization techniques, and "Explanation," because in the spectrum from instrumentation by inserting print statements to the abductive inference of explanatory hypotheses, we believe that the key to understanding deep learning relies on the identification and exposure of hypotheses about the performance behavior of a learned deep model. In the exposition of our preliminary framework, we use relatively straightforward image classification examples and a variety of choices on initial configuration of a deep model building scenario. By careful but not complicated instrumentation, we expose classification outcomes of deep models using visualization, and also show initial results for one potential application of interpretability.

研究动机与目标

• 解决深度学习中可解释性问题，特别是在模型产生意外或高风险预测时。
• 开发一种以可视化为导向的框架，实现对深度神经网络内部行为的快速、人类可理解的洞察。
• 提供一种调试工具，用于识别DCNN为何做出特定预测，尤其在医学诊断等敏感领域。
• 提出一种可泛化且计算高效的通用方法，揭示模型决策过程中最具影响力的特征。
• 在图像分类和医学图像分析任务中展示该框架的有效性，证明其鲁棒性与可解释性。

提出的方法

• 该方法利用多尺度傅里叶空间分析，识别对分类决策有贡献的高、低空间频率激活模式。
• 通过分析不同频率分量对最终预测的贡献，可视化具有判别性的图像块。
• 该方法无需微调或求解优化问题，计算效率高，适用于预训练模型。
• 通过向图像应用高斯模糊并观察预测置信度和注意力区域的变化，评估模型的鲁棒性。
• 将该框架应用于VGG-16进行图像分类，以及用于皮肤病变分类的预训练模型，以验证其在真实任务中的可解释性。
• 通过突出显示最影响网络输出的最小显著区域，生成视觉解释。

实验结果

研究问题

• RQ1 如何以一种既可解释又高效的方式，可视化深度卷积神经网络的决策过程？
• RQ2 图像中哪些特征对DCNN的预测最具影响力，以及如何将其隔离并可视化？
• RQ3 基于视觉的解释框架是否可以应用于预训练模型，而无需微调或架构修改？
• RQ4 DCNN预测对图像退化（如模糊）的鲁棒性如何，这揭示了其对特征的依赖性？
• RQ5 所提出的方法是否能在高风险领域（如医学图像分类）中提供有意义且可操作的洞察？

主要发现

• DVE框架成功识别并可视化了影响DCNN预测的最具判别性的像素，提升了正确与错误分类结果的可解释性。
• 该方法计算效率极高，在Intel Core i7 CPU上每张图像处理时间约为6 × 10⁻⁴秒。
• 该框架揭示DCNN依赖于特定的、局部的像素模式，而非整体图像结构，表现为在图像模糊后分类失败。
• 在医学图像分析中，该方法能清晰突出网络用于将皮肤病变分类为良性或恶性的最相关区域（如病变特征）。
• 视觉解释在多种图像类型中均具有可解释性且具有一致性，包括COCO数据集图像和皮肤镜扫描图像。
• 该方法在某些情况下对模糊具有鲁棒性，但也暴露了当关键特征被遮挡时模型的脆弱性，表明其对精确的像素级细节存在依赖。