[論文レビュー] A Theoretical Explanation for Perplexing Behaviors of Backpropagation-based Visualizations

Weili Nie, Yang Zhang+1 more|arXiv (Cornell University)|May 18, 2018

Explainable Artificial Intelligence (XAI)参考文献 25被引用数 56

ひとこと要約

本論文は、guided backpropagationとDeconvNetの可視化が部分的な画像復元を行う理論的説明を提供し、なぜそれらがサリエンシーマップより解釈性は高いがクラス感度は低いように見えるのかを説明します。

ABSTRACT

Backpropagation-based visualizations have been proposed to interpret convolutional neural networks (CNNs), however a theory is missing to justify their behaviors: Guided backpropagation (GBP) and deconvolutional network (DeconvNet) generate more human-interpretable but less class-sensitive visualizations than saliency map. Motivated by this, we develop a theoretical explanation revealing that GBP and DeconvNet are essentially doing (partial) image recovery which is unrelated to the network decisions. Specifically, our analysis shows that the backward ReLU introduced by GBP and DeconvNet, and the local connections in CNNs are the two main causes of compelling visualizations. Extensive experiments are provided that support the theoretical analysis.

研究の動機と目的

• GBPとDeconvNetの可視化に関する正式な理論が欠如している動機付け。
• backpropagationベースの手法と部分的な画像復元を結びつける理論的枠組みの提案。
• 可視化挙動を駆動する主要因（後向きReLUと局所的CNN結合）を特定。
• 複数のCNNアーキテクチャと可視化シナリオで理論を検証。

提案手法

• GBPとDeconvNetがネットワークの意思決定と無関係な部分的画像復元を実行する formal分析を開発。
• GBP/DeconvNetにおける後向きReLUを鍵となる機構として分離。
• CNNの局所的結合が可視化に与える影響を強調。
• 理論的主張を裏付ける広範な実験を提供。

実験結果

リサーチクエスチョン

• RQ1 GBPとDeconvNetは、クラス感度が低いにもかかわらず、なぜサリエンシーマップより解釈性の高い可視化を生み出すのか？
• RQ2 GBP/DeconvNetのどの成分が、可視化挙動を実際のネットワーク決定と乖離させるのか？
• RQ3 部分的な画像復元に基づく理論で、観測された可視化出力を説明できるのか？
• RQ4 後向きReLUと局所的CNN結合は、これらの効果にどのように寄与するのか？

主な発見

• GBPとDeconvNetの可視化は、実質的に部分的な画像復元を行っている。
• GBP/DeconvNetで導入される後向きReLUが、観察された挙動の主な要因である。
• CNNの局所結合が可視化特性に寄与している。
• 理論的分析は、主張を裏付ける広範な実験と整合している。