[论文解读] A Theoretical Explanation for Perplexing Behaviors of Backpropagation-based Visualizations

Weili Nie, Yang Zhang+1 more|arXiv (Cornell University)|May 17, 2018

Explainable Artificial Intelligence (XAI)被引用 52

一句话总结

本文对为什么 GBP 和 DeconvNet 产生更具可解释性但对类别敏感性较低的可视化给出理论解释，表明它们在与网络决策无关的情况下执行部分图像恢复，这归因于反向 ReLU 和局部 CNN 连接。

ABSTRACT

Backpropagation-based visualizations have been proposed to interpret convolutional neural networks (CNNs), however a theory is missing to justify their behaviors: Guided backpropagation (GBP) and deconvolutional network (DeconvNet) generate more human-interpretable but less class-sensitive visualizations than saliency map. Motivated by this, we develop a theoretical explanation revealing that GBP and DeconvNet are essentially doing (partial) image recovery which is unrelated to the network decisions. Specifically, our analysis shows that the backward ReLU introduced by GBP and DeconvNet, and the local connections in CNNs are the two main causes of compelling visualizations. Extensive experiments are provided that support the theoretical analysis.

研究动机与目标

• 解释基于反向传播的可视化在可解释性与类别敏感性之间的困惑差异。
• 识别导致 GBP 和 DeconvNet 可视化行为的机制。
• 将可视化结果与反向传播和卷积神经网络架构的特性联系起来。

提出的方法

• 作者开展了对 GBP 和 DeconvNet 的理论分析。
• 他们认为 GBP 和 DeconvNet 实质上是在执行部分图像恢复。
• 他们将反向 ReLU 和局部 CNN 连接识别为观察到的可视化现象的关键原因。
• 他们用大量实验来支持该理论。

实验结果

研究问题

• RQ1 为什么 GBP 和 DeconvNet 产生更易于人类理解的可视化，但对类别敏感性较低？
• RQ2 在基于反向传播的可视化中，哪些机制导致这些效应？
• RQ3 反向 ReLU 操作和局部 CNN 连接是否推动了观察到的行为？
• RQ4 理论解释是否能够揭示可视化与决策之间的解耦？

主要发现

• GBP 和 DeconvNet 的可视化本质上是在进行部分图像恢复。
• 由 GBP 和 DeconvNet 引入的反向 ReLU 对观察到的效应有贡献。
• 在 CNN 中的局部连接被确定为导致吸引人可视化的主要原因。
• 作者提供了大量实验来支持该理论解释。