[論文レビュー] Score-CAM: Score-Weighted Visual Explanations for Convolutional Neural Networks

Haofan Wang, Zifan Wang+6 more|arXiv (Cornell University)|Oct 3, 2019

Explainable Artificial Intelligence (XAI)参考文献 38被引用数 93

ひとこと要約

Score-CAM は勾配フリーの、スコアベースの活性化マップ重み付けを用いたポストホック視覚説明を導入し、認識と局在タスクで従来の CAM/Grad-CAM 系を上回る。

ABSTRACT

Recently, increasing attention has been drawn to the internal mechanisms of convolutional neural networks, and the reason why the network makes specific decisions. In this paper, we develop a novel post-hoc visual explanation method called Score-CAM based on class activation mapping. Unlike previous class activation mapping based approaches, Score-CAM gets rid of the dependence on gradients by obtaining the weight of each activation map through its forward passing score on target class, the final result is obtained by a linear combination of weights and activation maps. We demonstrate that Score-CAM achieves better visual performance and fairness for interpreting the decision making process. Our approach outperforms previous methods on both recognition and localization tasks, it also passes the sanity check. We also indicate its application as debugging tools. Official code has been released.

研究の動機と目的

• CNN の決定に対する勾配依存なしでより良い視覚説明を動機づける。
• 各活性化マップの Increase of Confidence (CIC) に基づく勾配フリーの重み付け機構を提案する。
• Score-CAM が健全性チェックをパスし、デバッグツールを可能にしつつ、忠実度と局在性を向上させることを示す。

提案手法

• 活性化マップの重要性を定量化するために Increase of Confidence を定義する。
• 入力をアップサンプル済み・正規化済みの活性化マップでマスクし、クラススコアの変化を測定して各活性化マップの CIC を算出する。
• ソフトマックス正規化された CIC スコアで活性化マップを重み付けし、最終マップを ReLU 重み付けされた活性化マップの線形結合として形成する。
• 最終説明におけるクラス識別力を高めるためにソフトマックス後のスコアを重みとして使用する。
• Score-CAM を任意の畳み込み層に実装するための実用的なアルゴリズム（アルゴリズム 1）を提供する。
• Score-CAM を Grad-CAM、Grad-CAM++、他のベースラインと比較し、物体領域の検出と局在を評価する。

Figure 1: Visualization and comparison between our proposed method, Score-CAM with two related work, Grad-CAM and GrdCAM++. Score-CAM shows a potential high concentration at the object in the image.

実験結果

リサーチクエスチョン

• RQ1 勾配フリーでスコアベースの活性化マップの重み付けは、勾配ベースの CAM 系よりも忠実で識別的な視覚説明を提供するのか。
• RQ2 Score-CAM は Grad-CAM/Grad-CAM++ と比較して認識精度、局在、健全性チェックの点でどうなるのか。
• RQ3 Score-CAM はモデルの誤動作やデータセットのバイアスをデバッグする有用なツールとなり得るのか。

主な発見

Method	Average Drop (%)	Average Increase (%)
マスク	63.5	5.29
RISE	47.0	14.0
GradCAM	47.8	19.6
GradCAM++	45.5	18.9
ScoreCAM	31.5	30.6

• Score-CAM は他のベースラインより滑らかでノイズの少ないサリエンシーマップを生成する。
• 認識タスクでは、Score-CAM は他の手法と比べて平均ドリフトが高く、平均増加がより大きい（例えば報告表の ScoreCAM での平均ドリップ 31.5% と平均増加 30.6% に対し、他は 63.5%/31.5% など）。
• Score-CAM は局在性を改善し、サリエンシーマップのエネルギーの >60% がターゲット物体の境界ボックス内に落ちる画像のサブセットで確認される。
• Score-CAM はサリエンシーマップの健全性チェック（モデルパラメータに敏感／ランダム化テストをパス）をクリアする。
• Score-CAM は削除/挿入評価でより忠実性が高く、Grad-CAM/Grad-CAM++ と比較して挿入 AUC が高く、削除 AUC が低い。
• Score-CAM は予測クラスとターゲットクラス間のサリエンシーマップを比較することで、モデルの誤動作やデータセットのバイアスのデバッグに寄与できる。

Figure 2: (1) is the input image, (2)-(4) are generated by masking input with upsampled activation maps. The weights for activation maps (2)-(4) are 0.035, 0.027, 0.021 respectively. The values above are the increase on target score given (1)-(4) as input. As shown in this example, (2) has the highe