[論文レビュー] Grad-CAM: Why did you say that? Visual Explanations from Deep Networks via Gradient-based Localization

Ramprasaath R. Selvaraju, Abhishek Das+4 more|arXiv (Cornell University)|Jan 1, 2016

Multimodal Machine Learning Applications被引用数 75

ひとこと要約

この論文は、最終畳み込み層からの勾配情報を活用して、CNNベースのモデルの予測に対してクラスに特化した視覚的説明を生成するGrad-CAMという手法を紹介している。この手法は再訓練を必要とせず、クラス活性化マッピング（CAM）の一般化であり、弱教師あり局所化タスクにおいて勾配ベースの可視化手法を上回り、画像分類、キャプション生成、VQAモデルにおける解釈可能な高解像度の可視化（例：ガイドド・Grad-CAM）を可能にする。

ABSTRACT

We propose a technique for making Convolutional Neural Network (CNN)-based models more transparent by visualizing the regions of input that are important for predictions from these models - or visual explanations. Our approach, called Gradient-weighted Class Activation Mapping (Grad-CAM), uses the class-specific gradient information flowing into the final convolutional layer of a CNN to produce a coarse localization map of the important regions in the image. Grad-CAM is a strict generalization of the Class Activation Mapping. Unlike CAM, Grad-CAM requires no re-training and is broadly applicable to any CNN-based architectures. We also show how Grad-CAM may be combined with existing pixel-space visualizations to create a high-resolution class-discriminative visualization (Guided Grad-CAM). We generate Grad-CAM and Guided Grad-CAM visual explanations to better understand image classification, image captioning, and visual question answering (VQA) models. In the context of image classification models, our visualizations (a) lend insight into their failure modes showing that seemingly unreasonable predictions have reasonable explanations, and (b) outperform pixel-space gradient visualizations (Guided Backpropagation and Deconvolution) on the ILSVRC-15 weakly supervised localization task. For image captioning and VQA, our visualizations expose the somewhat surprising insight that common CNN + LSTM models can often be good at localizing discriminative input image regions despite not being trained on grounded image-text pairs. Finally, we design and conduct human studies to measure if Guided Grad-CAM explanations help users establish trust in the predictions made by deep networks. Interestingly, we show that Guided Grad-CAM helps untrained users successfully discern a stronger deep network from a weaker one even when both networks make identical predictions.

研究の動機と目的

• 予測の局所的視覚的説明を生成することで、深層CNNのモデル透過性を向上させること。
• 再訓練を必要とせず、あらゆるCNNアーキテクチャに適用可能な手法を開発すること。
• 解釈可能な可視化を通じて、ユーザーが深層ネットワークの予測を理解し、信頼できるようにすること。
• 予測が同一である場合でも、視覚的説明が強力なモデルと弱いモデルの違いをユーザーが区別するのを助けるかを検証すること。

提案手法

• Grad-CAMは、最終畳み込み層に流入するクラスに特化した勾配情報を計算し、関連する画像領域の粗い局所化マップを生成する。
• 勾配のグローバル平均プーリングを用いて特徴マップを重み付けし、判別的な領域を強調するヒートマップを生成する。
• この手法は、クラス活性化マッピング（CAM）の一般化であり、グローバル平均プーリング層の導入やモデル再訓練の必要性を排除する。
• ガイドド・Grad-CAMは、Grad-CAMとガイドドバックプロパゲーションを組み合わせ、高解像度でクラスに特化した可視化を実現する。
• このアプローチは、画像分類、画像キャプション生成、視覚的質問応答（VQA）モデルに適用され、注目メカニズムと予測根拠の分析が可能になる。
• 人間による実験を実施し、ガイドド・Grad-CAMがユーザーの信頼性とモデル解釈性を向上させるかどうかを評価する。

実験結果

リサーチクエスチョン

• RQ1 再訓練を伴わずに、勾配ベースの局所化が深層CNNの予測に対して信頼性があり解釈可能な説明を提供できるか？
• RQ2 Grad-CAMは、ピクセル空間の可視化手法（例：ガイドドバックプロパゲーション、デコンボリューション）と比較して、局所化精度で優れているか？
• RQ3 画像とテキストのペアデータで訓練されていないモデル（例：画像キャプション生成やVQA）において、Grad-CAMは予測の根拠をどの程度明らかにできるか？
• RQ4 ガイドド・Grad-CAMのような視覚的説明は、予測が同一である場合でも、素人が強力なモデルと弱いモデルの違いを識別するのを助けるか？

主な発見

• Grad-CAMは、ILSVRC-15の弱教師あり局所化ベンチマークにおいて、ガイドドバックプロパゲーションやデコンボリューションなどのピクセル空間勾配可視化手法を上回る性能を示した。
• Grad-CAMの可視化結果から、一見誤りと見える予測でも、入力画像内に妥当な局所的根拠が存在することが明らかになった。
• 画像キャプション生成やVQAの文脈では、CNN+LSTMモデルがペア化された画像・テキストデータで訓練されていなくても、関連する画像領域を正しく局所化していることがGrad-CAMによって示された。
• 人間実験の結果、ガイドド・Grad-CAMは、予測が同一である場合でも、素人が強いモデルと弱いモデルを正しく識別するのを支援することが明らかになった。
• 視覚的説明は失敗モードを露呈させ、モデルが意味的に重要な画像領域に依存していることを強調し、解釈可能性を向上させた。