[論文レビュー] Use HiResCAM instead of Grad-CAM for faithful explanations of convolutional neural networks

Rachel Lea Draelos, Lawrence Carin|arXiv (Cornell University)|Nov 17, 2020

Explainable Artificial Intelligence (XAI)被引用数 76

ひとこと要約

HiResCAMは、CNNが予測に使用する位置を忠実に反映するクラス固有の説明を提供し、勾配平均化によりGrad-CAMが注意をぼかしたり拡大したりする傾向に対処します。

ABSTRACT

Explanation methods facilitate the development of models that learn meaningful concepts and avoid exploiting spurious correlations. We illustrate a previously unrecognized limitation of the popular neural network explanation method Grad-CAM: as a side effect of the gradient averaging step, Grad-CAM sometimes highlights locations the model did not actually use. To solve this problem, we propose HiResCAM, a novel class-specific explanation method that is guaranteed to highlight only the locations the model used to make each prediction. We prove that HiResCAM is a generalization of CAM and explore the relationships between HiResCAM and other gradient-based explanation methods. Experiments on PASCAL VOC 2012, including crowd-sourced evaluations, illustrate that while HiResCAM's explanations faithfully reflect the model, Grad-CAM often expands the attention to create bigger and smoother visualizations. Overall, this work advances convolutional neural network explanation approaches and may aid in the development of trustworthy models for sensitive applications.

研究の動機と目的

• CNNにおける偽の相関やバイアスを避けるための忠実な説明の必要性を動機づける。
• Grad-CAMの勾配平均化の限界を克服するクラス固有の説明手法としてHiResCAMを導入する。
• HiResCAMはCAMの一般化であり、Grad-CAMおよびGradient* Inputと結びつくという理論的関係を証明する。
• 自然画像と医用画像データセットでHiResCAMとGrad-CAMを経験的に比較し、クラウドソースによる知覚を含む。
• 信頼できる説明のためにHiResCAMまたはCAMアーキテクチャをいつ使用すべきかの指針を提供する。

提案手法

• HiResCAMを、勾配と対応する特徴マップの要素ごとの積の和として定義する： ÃA_m^{HiResCAM} = sum_f (∂s_m/∂A^f) ⊙ A^f.
• Grad-CAMが平均勾配 α_m^f = (1/D1D2) sum_{d1,d2} ∂s_m/∂A^f_{d1d2} を用い、ÃA_m^{GradCAM} = sum_f α_m^f A^f を形成することを示す。
• 最後に1つの全結合層を持つCNNに対して、s_m = w_m A + b_m を導出し ∂s_m/∂A = w_m として、HiResCAMがクラススコアを増加させる位置を強調することを示す。
• CAMアーキテクチャ（グローバル平均プーリングの後にFC）に対して、HiResCAMは正規化定数を除けばCAMに縮退することを示す。
• CAM、Grad-CAM、およびGradient* Inputとの関係を論じ、HiResCAMがモデルの計算を反映する局所的な説明であることを示す。）

実験結果

リサーチクエスチョン

• RQ1 HiResCAMは、単一の全結合層で終わるCNNの計算を忠実に反映する説明を生み出すか？
• RQ2 局所化、焦点、およびアテンションマップの大きさの点で、HiResCAMとGrad-CAMの説明はどう異なるか？
• RQ3 異なるCNNアーキテクチャ間で、HiResCAM、CAM、Grad-CAM、Gradient* Input の理論的関係は何か？
• RQ4 自然画像と医療データでの経験的比較は、HiResCAMをGrad-CAMよりも忠実な代替手段として支持するか？

主な発見

• HiResCAMの説明は、1つの全結合層で終わるCNNの計算を反映することが証明され、この設定でモデルが使用した真の位置へのL2距離は0になる。
• 経験的な結果は、Grad-CAMの説明がHiResCAMと異なり、忠実なHiResCAMの説明よりしばしば大きく丸みを帯びているように見える。
• PASCAL VOC 2012ではResNet-34vとDenseNet-121vで、Grad-CAMは真の位置へ非0のL2距離を与えるが、HiResCAMは0を与え、忠実性を確認する。
• 弱教師付きセグメンテーションのIoU結果は、Grad-CAMが時にHiResCAMを上回ることを示し、Grad-CAMの拡張された注意がWSSを助ける可能性があるが忠実性の代償があることを示唆する。
• クラウドソーシングによる人間の知覚実験は、Grad-CAMの説明がHiResCAMの説明より大きく、または焦点が定まらない傾向があることを示し、定性的観察と一致する。