[論文レビュー] Grad-CAM: Why did you say that?

Ramprasaath R. Selvaraju, Abhishek Das+4 more|arXiv (Cornell University)|Nov 22, 2016

Multimodal Machine Learning Applications参考文献 11被引用数 325

ひとこと要約

Grad-CAMを導入し、CNNのクラス-discriminativeな視覚的説明を生成する勾配ベースの局所化手法を提示し、Guided Backpropagationと組み合わせて高解像度のGuided Grad-CAM説明を形成する。

ABSTRACT

We propose a technique for making Convolutional Neural Network (CNN)-based models more transparent by visualizing input regions that are 'important' for predictions -- or visual explanations. Our approach, called Gradient-weighted Class Activation Mapping (Grad-CAM), uses class-specific gradient information to localize important regions. These localizations are combined with existing pixel-space visualizations to create a novel high-resolution and class-discriminative visualization called Guided Grad-CAM. These methods help better understand CNN-based models, including image captioning and visual question answering (VQA) models. We evaluate our visual explanations by measuring their ability to discriminate between classes, to inspire trust in humans, and their correlation with occlusion maps. Grad-CAM provides a new way to understand CNN-based models. We have released code, an online demo hosted on CloudCV, and a full version of this extended abstract.

研究の動機と目的

• クラス判別性が高く、解像度の高い透明性のあるCNNの説明の必要性を動機づける。
• アーキテクチャを変更せずにクラス特異的勾配情報を用いて局在マップを取得するGrad-CAMを導入する。
• Grad-CAMをGuided Backpropagationと組み合わせて、高解像度でクラス判別性のあるビジュアルを作るGuided Grad-CAMを作成する。
• 画像キャプション生成および視覚質問回答（VQA）モデルへの適用性を示す。
• 人間の研究と忠実性分析を通じて説明を評価し、コード/デモを公開する。

提案手法

• 対象クラススコアの勾配を畳み込み特徴マップに対して計算し、これらの勾配を全体平均プーリングしてチャネルごとの重みを得たうえで、特徴マップのReLU加重和を形成してGrad-CAMを定義する。
• アーキテクチャの制約を避け、勾配を用いることで任意のCNNに対してCAMを一般化する（勾配ベースの局在化）。
• Grad-CAMマップをGuided Backpropagationビジュアルと要素ごとに乗算して、高解像度かつクラス判別性のある説明を得るGuided Grad-CAMを作成する。
• Grad-CAMを画像キャプション生成およびVQAモデルに適用し、タスクを超えて広い適用性を示す。
• 識別性と信頼性を評価するための人間の研究を実施し、忠実性を遮蔽ベースの測定と比較する。

実験結果

リサーチクエスチョン

• RQ1 Grad-CAMは再学習やアーキテクチャの変更なしにクラス判別的な局在マップを生成できるか。
• RQ2 Guided Grad-CAMは既存の方法より解釈性と信頼性を向上させる高解像度の説明を提供するか。
• RQ3 Grad-CAMの説明はモデルの挙動に忠実か（遮蔽相関で裏付けられるか）および対象クラスに対して識別的か。
• RQ4 これらの説明は画像キャプション生成や視覚質問回答のような高次タスクへどれだけ転用できるか。

主な発見

Method	Human Classification Accuracy	Relative Reliability	Rank Correlation w/ Occlusion
Guided Backpropagation	44.44	+1.00	0.168
Guided Grad-CAM	61.23	+1.27	0.261

• Grad-CAMの局在はクラス判別的であり、再学習せずに計算できる。
• Guided Grad-CAMは高解像度の詳細とクラス焦点を結びつけ、人的識別性とモデルへの信頼感を向上させる。
• 人間の評価では、Guided Grad-CAMはクラス認識でGuided Backpropagationを上回り（44.44%対61.23%の精度）、知覚的信頼性も上回り（+1.27対+1.00）、遮蔽ベースの忠実性との相関も高かった（0.261対0.168）。
• Guided Grad-CAMはモデルの失敗を診断するのに役立ち、ImageNetとVQAの予測に対する直感的な説明を提供する。
• 本手法は画像キャプション生成とVQAパイプラインで検証され、CNNベースのタスクに広く適用できることを示している。