[論文レビュー] SS-CAM: Smoothed Score-CAM for Sharper Visual Feature Localization

Haofan Wang, Rakshit Naidu+2 more|arXiv (Cornell University)|Jun 25, 2020

Explainable Artificial Intelligence (XAI)参考文献 28被引用数 52

ひとこと要約

SS-CAMはScore-CAMを活性化マップを平滑化して、物体特徴の Localizationをより鋭く中央に集約された表現を生み出し、ImageNetにおける忠実度とローカライズを改善します。

ABSTRACT

Interpretation of the underlying mechanisms of Deep Convolutional Neural Networks has become an important aspect of research in the field of deep learning due to their applications in high-risk environments. To explain these black-box architectures there have been many methods applied so the internal decisions can be analyzed and understood. In this paper, built on the top of Score-CAM, we introduce an enhanced visual explanation in terms of visual sharpness called SS-CAM, which produces centralized localization of object features within an image through a smooth operation. We evaluate our method on the ILSVRC 2012 Validation dataset, which outperforms Score-CAM on both faithfulness and localization tasks.

研究の動機と目的

• 高リスク設定におけるCNNの決定を解釈可能にする動機付け。
• Score-CAMを基に平滑化を適用して、より鋭く中央に集約されたローカリゼーション手法を開発する。
• ILSVRC 2012で手法を評価し、忠実度・ローカリゼーション・人間の信頼を評価する。
• 複数の指標でSS-CAMをGrad-CAM、Grad-CAM++、Smooth Grad-CAM++、Score-CAMと比較する。

提案手法

• ノイズの多いサンプルに対して平滑化を組み込むことで、安定した活性化重みを得るようScore-CAMを拡張する。
• 2つの平滑化戦略を導入する：特徴空間での平滑化（type1）と入力空間での平滑化（type2）。
• 活性化マップの重要性を定量化するためにChannel-wise Increase of Confidence（CIC）を定義する。
• 最終的なアトリビューションを、平滑化されたCIC由来の重みを用いた活性化マップのReLU加重和として計算する。
• 活性化マップを正規化してアップサンプリングし、N個のノイズ付きサンプルのスコアを平均してalpha_kを得る。
• alpha_kの2つの式を示す： (type1) alpha_k = (1/N) sum C(M) over noisy samples, with M = sum_N (X0 * (A_l^k + N(0,σ))); (type2) alpha_k = (1/N) sum C(M) where M = sum_N ((X0 * A_l^k) + N(0,σ)).
• 正規化: s(A_l^k) = (A_l^k - min(A_l^k)) / (max(A_l^k) - min(A_l^k)).

実験結果

リサーチクエスチョン

• RQ1 SS-CAMはScore-CAMおよび他のCAMベース手法よりも鋭く局所化されたアトリビューションマップを生成するか？
• RQ2 平滑化戦略は忠実度、局所化、そして人間の解釈性を過度な計算コストなしに改善するか？
• RQ3 SS-CAMのバリアントは、削除/挿入曲線やエネルギーベースの指摘ゲームといった標準指標でどう評価されるか？

主な発見

• SS-CAMのバリアントはScore-CAMと比較して局所化が改善され、定性的なビジュアルで鋭いアトリビューションマップを示す。
• VGG-16を用いた2000枚のILSVRC-2012画像の忠実度テストで、SS-CAMバリアントはGrad-CAM/Grad-CAM++と比較してAverage Dropが競争力があり、Average Increase in Confidenceが高いか同等である。
• エネルギーベースの指摘ゲームの結果は、VGG-16およびResNet-18全体でSS-CAMがより良いまたはScore-CAMと同等の局所化を示し、いくつかの指標で改善を示す。
• 人間の信頼性評価は他手法よりSS-CAM(2)を支持し、説明の解釈性が高いことを示す。
• SS-CAMの挿入曲線は、ピクセルが挿入されるにつれてスコアが著しく増加することを示し、説明的有用性が高い。
• SS-CAM(2)は一般に忠実度と鋭い局所化の良好なバランスを達成するが、SS-CAM(1)は特定の指標でScore-CAMを上回ることもある。