[论文解读] Evaluating the visualization of what a Deep Neural Network has learned

Wojciech Samek, Alexander Binder+3 more|arXiv (Cornell University)|Sep 21, 2015

Explainable Artificial Intelligence (XAI)参考文献 25被引用 18

一句话总结

本文提出一种基于区域扰动的方法，以客观评估深度神经网络中显著性热图的质量，表明类激活映射（LRP）生成的热图在准确性和噪声水平上显著优于基于敏感性的方法和反卷积方法。其主要贡献是提出了一项定量度量——预测变化平均顺序（AOPC），该度量与网络性能相关，可仅通过输入扰动和模型输出实现对深度神经网络的无监督评估。

ABSTRACT

Deep Neural Networks (DNNs) have demonstrated impressive performance in complex machine learning tasks such as image classification or speech recognition. However, due to their multi-layer nonlinear structure, they are not transparent, i.e., it is hard to grasp what makes them arrive at a particular classification or recognition decision given a new unseen data sample. Recently, several approaches have been proposed enabling one to understand and interpret the reasoning embodied in a DNN for a single test image. These methods quantify the ''importance'' of individual pixels wrt the classification decision and allow a visualization in terms of a heatmap in pixel/input space. While the usefulness of heatmaps can be judged subjectively by a human, an objective quality measure is missing. In this paper we present a general methodology based on region perturbation for evaluating ordered collections of pixels such as heatmaps. We compare heatmaps computed by three different methods on the SUN397, ILSVRC2012 and MIT Places data sets. Our main result is that the recently proposed Layer-wise Relevance Propagation (LRP) algorithm qualitatively and quantitatively provides a better explanation of what made a DNN arrive at a particular classification decision than the sensitivity-based approach or the deconvolution method. We provide theoretical arguments to explain this result and discuss its practical implications. Finally, we investigate the use of heatmaps for unsupervised assessment of neural network performance.

研究动机与目标

• 解决深度神经网络中显著性热图缺乏客观评估标准的问题。
• 在真实世界图像分类任务中，比较不同热图生成方法（特别是敏感性、反卷积和LRP）的质量。
• 提出一种区域扰动策略，定量衡量热图在识别对深度神经网络预测最具影响力图像区域方面的有效性。
• 探究热图质量是否与整体深度神经网络性能相关，从而实现无监督的模型评估。
• 为热图不仅用于可解释性，还用于深度神经网络性能评估，提供理论与实证基础。

提出的方法

• 提出一种区域扰动策略，将显著性最高的像素（按热图值排序）按顺序翻转，从得分最高的像素开始。
• 通过测量预测得分随扰动推进而衰减的过程，使用预测变化平均顺序（AOPC）作为质量度量。
• 将AOPC度量应用于三种热图方法的比较：基于梯度的敏感性、反卷积和逐层显著性传播（LRP）。
• 利用LRP中的守恒原理，将输出显著性无梯度依赖地重新分配至输入像素，确保预测显著性的完整传播。
• 在多个数据集（SUN397、ILSVRC2012、MIT Places、CIFAR-10）上应用AOPC度量，评估热图的信息量，并与网络训练进度相关联。
• 在标准图像分类基准上对训练好的深度神经网络验证该方法，评估过程无需真实标签。

实验结果

研究问题

• RQ1 如何在主观人类评估之外，客观地衡量深度神经网络中显著性热图的质量？
• RQ2 在识别对分类决策最具相关性的图像区域方面，不同热图生成方法（敏感性、反卷积和LRP）的表现如何比较？
• RQ3 热图质量（以AOPC衡量）是否与底层深度神经网络的整体性能相关？
• RQ4 是否可以利用热图质量实现对深度神经网络训练进度的无监督评估？
• RQ5 LRP相较于基于梯度的方法和反卷积方法，在生成有意义视觉解释方面具有哪些理论与实证优势？

主要发现

• 在所有测试数据集中，LRP生成的热图在AOPC得分上始终优于基于敏感性和反卷积的热图，表明其在识别显著图像区域方面表现更优。
• 在SUN397和MIT Places数据集上，基于敏感性的热图产生噪声大、近乎随机的模式，与实际分类相关特征对齐差。
• 反卷积热图的噪声水平低于敏感性图，但仍不如LRP热图稀疏且信息量不足，LRP热图能更准确地突出全局结构特征。
• 在CIFAR-10上观察到AOPC值与网络准确率之间存在强相关性，表明热图质量反映了模型的学习能力。
• AOPC度量可通过测量热图的信息量，无需测试标签，实现对深度神经网络的无监督评估。
• 理论分析表明，LRP的守恒原理可确保显著性完整传播，而基于梯度的方法仅反映局部敏感性。