[論文レビュー] Explaining Convolutional Neural Networks using Softmax Gradient Layer-wise Relevance Propagation

Brian Kenji Iwana, Ryohei Kuroki+1 more|arXiv (Cornell University)|Aug 6, 2019

Explainable Artificial Intelligence (XAI)参考文献 42被引用数 21

ひとこと要約

本稿では、Softmax出力の勾配を用いて関連性を逆伝播することで、Layer-wise Relevance Propagation (LRP) を向上させる新しい手法である Softmax-Gradient Layer-wise Relevance Propagation (SGLRP) を提案する。この手法により、クラス判別性を持つピクセル単位の帰属度が得られ、特にオクルージョンや競合クラスが存在する多クラス状況において、従来のLRPベースの手法よりも、ターゲットオブジェクトの局在化と不要な特徴の抑制において優れた性能を発揮する。

ABSTRACT

Convolutional Neural Networks (CNN) have become state-of-the-art in the field of image classification. However, not everything is understood about their inner representations. This paper tackles the interpretability and explainability of the predictions of CNNs for multi-class classification problems. Specifically, we propose a novel visualization method of pixel-wise input attribution called Softmax-Gradient Layer-wise Relevance Propagation (SGLRP). The proposed model is a class discriminate extension to Deep Taylor Decomposition (DTD) using the gradient of softmax to back propagate the relevance of the output probability to the input image. Through qualitative and quantitative analysis, we demonstrate that SGLRP can successfully localize and attribute the regions on input images which contribute to a target object's classification. We show that the proposed method excels at discriminating the target objects class from the other possible objects in the images. We confirm that SGLRP performs better than existing Layer-wise Relevance Propagation (LRP) based methods and can help in the understanding of the decision process of CNNs.

研究の動機と目的

• 深層畳み込みニューラルネットワーク（CNN）の解釈性の課題、特に多クラス画像分類における『ブラックボックス』性を解決すること。
• 不要な特徴や矛盾する特徴を抑制するため、クラス判別性を導入することで、既存のLRPベースの可視化手法を改善すること。
• 複数のクラスが存在する状況でも、特定のターゲットクラスに正確に入力ピクセルの関連度を割り当てる手法を開発すること。
• 定性的および定量的両方の設定において、局在化性能とオクルージョンに対するロバストネスを評価すること。

提案手法

• SGLRPは、LRPを拡張し、初期関連度信号としてSoftmax出力の勾配を用いる。これにより、クラス固有の帰属度が可能になる。
• この手法は、Softmax関数の勾配を用いてネットワーク全体にわたって関連度を逆伝播する。この勾配は、非ターゲットクラスの確率を内蔵的に反映している。
• 関連度は、Deep Taylor分解（DTD）の修正版を用いて層ごとに再配分され、Softmaxの勾配が出発点となる。
• このアプローチは、Softmax関数の微分を活用して非ターゲットクラスからの関連度を差し引くことで、クラス判別性を向上させる。
• ピクセル単位の関連度マップを生成し、予測クラスに寄与する領域を強調すると同時に、背景や干渉要因を抑制する。
• SGLRPはiNNvestigateライブラリを用いて実装され、ImageNet上でVGG16を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 SGLRPは、多クラス画像分類において、既存のLRPベースの手法よりも、よりクラス判別性の高い関連度マップを生成できるか？
• RQ2 複数のクラスが存在する場合や、ターゲットがオクルージョンされている場合、SGLRPはターゲットオブジェクトの局在化においてどの程度の性能を示すか？
• RQ3 初期関連度信号としてSoftmaxの勾配を用いることで、標準的なLRPと比較して、帰属度の正確性とロバストネスが向上するか？
• RQ4 局在化精度とエネルギー分布の観点から、SGLRPはGuided Grad-CAM や CLRP などの他の解釈手法と比較して、どの程度優れているか？

主な発見

• エネルギーレベルが67%以上の場合、SGLRPはすべてのLRPベースの手法の中で最高のポイントイング正確度を達成し、優れた局在化精度を示した。
• エネルギーレベルが67%未満の場合、Guided Grad-CAM がSGLRPを上回ったが、高エネルギー閾値ではSGLRPが優勢となり、ノイズや背景アーチファクトに対してより優れたロバストネスを示した。
• パッチ除去評価において、SGLRPはCLRPおよび他のLRP変種を上回った。特に、2番目に確率が高いクラスをターゲットとした場合に顕著で、強力なクラス判別性を示した。
• 図7の(a)のクモ、(b)の人物、(c)のギターのように、複数の干渉要因が存在する複雑なシーンにおいても、SGLRPはターゲットオブジェクトを正確に局在化できた。
• ランダムベースラインではほぼゼロのポイントイング正確度を示し、SGLRPの性能が偶然によるものではないことを確認した。
• Softmax勾配の使用により、非ターゲットクラスの関連度が効果的に抑制され、帰属度マップにおける誤検出（ファルス・ポジティブ）が減少した。