[论文解读] A Theoretical Explanation for Perplexing Behaviors of Backpropagation-based Visualizations

Weili Nie, Yang Zhang+1 more|arXiv (Cornell University)|May 18, 2018

Explainable Artificial Intelligence (XAI)参考文献 25被引用 56

一句话总结

本文提供一个理论解释，表明 guided backpropagation 和 DeconvNet 可视化像部分图像恢复，解释为何它们看起来比显著性图更易解释但对类别敏感性较低。

ABSTRACT

Backpropagation-based visualizations have been proposed to interpret convolutional neural networks (CNNs), however a theory is missing to justify their behaviors: Guided backpropagation (GBP) and deconvolutional network (DeconvNet) generate more human-interpretable but less class-sensitive visualizations than saliency map. Motivated by this, we develop a theoretical explanation revealing that GBP and DeconvNet are essentially doing (partial) image recovery which is unrelated to the network decisions. Specifically, our analysis shows that the backward ReLU introduced by GBP and DeconvNet, and the local connections in CNNs are the two main causes of compelling visualizations. Extensive experiments are provided that support the theoretical analysis.

研究动机与目标

• 动机：缺乏关于 GBP 和 DeconvNet 可视化的正式理论。
• 提出一个理论框架，将基于反向传播的方法与部分图像恢复联系起来。
• 识别驱动可视化行为的主要因素（反向 ReLU 和局部 CNN 连接）。
• 通过不同 CNN 架构和可视化场景的实验来验证理论。

提出的方法

• 开发一个形式化分析，表明 GBP 和 DeconvNet 执行部分图像恢复，与网络决策无关。
• 将 GBP/DeconvNet 中的 backward ReLU 定位为关键机制。
• 强调 CNN 的局部连接在塑造可视化中的作用。
• 提供大量实验来支持理论主张。

实验结果

研究问题

• RQ1 为什么 GBP 和 DeconvNet 产生的可解释性视图比显著性图更高，即使类别敏感性较低？
• RQ2 GBP/DeconvNet 的哪些组成部分导致其可视化行为与实际网络决策偏离？
• RQ3 基于部分图像恢复的理论是否能够解释所观察到的可视化输出？
• RQ4 反向 ReLU 和局部 CNN 连接如何对这些效应产生贡献？

主要发现

• GBP 和 DeconvNet 的可视化在本质上是在执行部分图像恢复。
• GBP/DeconvNet 引入的反向 ReLU 是观察到的行为的主要因素。
• CNN 的局部连接对可视化特征有贡献。
• 理论分析与大量实验相一致，支持上述主张。