[論文レビュー] Understanding Individual Decisions of CNNs via Contrastive Backpropagation

Jindong Gu, Yinchong Yang+1 more|arXiv (Cornell University)|Dec 5, 2018

Explainable Artificial Intelligence (XAI)参考文献 35被引用数 9

ひとこと要約

本稿では、対照的な視覚的概念からの信号をモデル化することで、個々の深層ニューラルネットワークの意思決定におけるクラス判別性のあるピクセル単位の説明を向上させる、対照的層別関係伝播（CLRP）を提案する。LRPとは異なり、非判別的なサリエンシーマップを生成するのではなく、CLRPはインスタンス固有でニューロン判別性のある説明を生成し、ニューロン間の特徴注目パターンの違いを明らかにする。この有効性は、定性的な可視化と定量的なアブレーションスタディによって検証された。

ABSTRACT

A number of backpropagation-based approaches such as DeConvNets, vanilla Gradient Visualization and Guided Backpropagation have been proposed to better understand individual decisions of deep convolutional neural networks. The saliency maps produced by them are proven to be non-discriminative. Recently, the Layer-wise Relevance Propagation (LRP) approach was proposed to explain the classification decisions of rectifier neural networks. In this work, we evaluate the discriminativeness of the generated explanations and analyze the theoretical foundation of LRP, i.e. Deep Taylor Decomposition. The experiments and analysis conclude that the explanations generated by LRP are not class-discriminative. Based on LRP, we propose Contrastive Layer-wise Relevance Propagation (CLRP), which is capable of producing instance-specific, class-discriminative, pixel-wise explanations. In the experiments, we use the CLRP to explain the decisions and understand the difference between neurons in individual classification decisions. We also evaluate the explanations quantitatively with a Pointing Game and an ablation study. Both qualitative and quantitative evaluations show that the CLRP generates better explanations than the LRP. The code is available.

研究の動機と目的

• 個々の分類意思決定における層別関係伝播（LRP）が生成する説明の判別性を評価すること。
• 特にディープテイラー分解を含むLRPの理論的基盤を分析し、クラス判別性のある説明を生成する上でその限界を特定すること。
• 個々の意思決定におけるインスタンス固有でクラス判別性があり、ピクセル単位の説明を生成する、新たな手法である対照的層別関係伝播（CLRP）を提案すること。
• 特に全結合層におけるニューロンの活性化パターンの違いを可視化し、理解可能にする。
• 計算効率の良いGPUアクセceleratedなPyTorch実装を提供し、従来の実装における非効率性を解消すること。

提案手法

• CLRPは、同じ層内の残りのニューロンの活性化を表す反対の視覚的概念を導入することで、対照的信号をモデル化する。
• CLRPの2つの変種を提案する：CLRP1は同じ層内の他のニューロンの平均活性化を対照的信号として使用するが、CLRP2は他のニューロンの最大活性化を使用する。
• 説明の判別性を確保するため、対照的信号を組み込んだ変更された関係伝播ルールを適用し、出力から入力へと関係を再分配する。
• Deep Taylor分解に基づく線形近似を用いて、層ごとに関係を伝播するが、ターゲットクラスと対照的クラスの差を強調するように調整する。
• ReLUマスクやプーリングスイッチなどのインスタンス固有構造情報（ISSInfo）を活用し、説明がインスタンス固有であることを保証する。
• 計算非効率性を是正するため、GPU最適化されたPyTorch実装を構築し、効率的な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 LRPが生成するサリエンシーマップは、個々の分類意思決定において真にクラス判別的であるか？
• RQ2 LRPの理論的基盤は何か？ そして、その基盤は本質的に判別的説明の生成をサポートしているか？
• RQ3 反対の視覚的概念から導出される対照的信号は、深層ネットワークにおける説明マップの判別性を向上させることができるか？
• RQ4 1枚の入力画像に対して、全結合層内の個々のニューロンはどのように注目パターンが異なるか？
• RQ5 ポイントゲームやアブレーションスタディといった定量的指標は、CLRPがLRPを上回ることを検証できるか？

主な発見

• LRPは、同じ層内の異なるニューロンにおいてほぼ同一のサリエンシーマップを生成し、特徴注目パターンの差を捉えていない。
• CLRP2は、異なるニューロンが画像の異なる領域（たとえばおもちゃ屋の写真ではライオン、ゴリラ、ゾウの目）に注目していることを示す意味のあるニューロン固有の説明を生成する。
• アブレーションスタディの結果、CLRP2が特定した判別的パッチを除去すると、対応するニューロンの活性化が著しく低下することが確認され、説明の妥当性が裏付けられた。
• ポイントゲームとアブレーションスタディの結果から、CLRPはLRPよりもより正確で判別性の高い説明を生成することが示された。
• CLRPは定性的および定量的に優れた性能を発揮し、特にCLRP2はニューロン間の特徴注目パターンの違いをより顕著に明らかにする能力に優れている。
• CLRPのGPU最適化されたPyTorch実装は、従来のLRP実装と比較して著しく計算効率が向上した。