[論文レビュー] Smooth Grad-CAM++: An Enhanced Inference Level Visualization Technique for Deep Convolutional Neural Network Models

Daniel Omeiza, Skyler Speakman+2 more|arXiv (Cornell University)|Aug 3, 2019

Explainable Artificial Intelligence (XAI)参考文献 13被引用数 158

ひとこと要約

Smooth Grad-CAM++はSmoothGradとGrad-CAM++を組み合わせ、推論時に層、特徴マップ、ニューロンレベルの視覚的説明をより鋭く、より局在化させる説明を提供します。

ABSTRACT

Gaining insight into how deep convolutional neural network models perform image classification and how to explain their outputs have been a concern to computer vision researchers and decision makers. These deep models are often referred to as black box due to low comprehension of their internal workings. As an effort to developing explainable deep learning models, several methods have been proposed such as finding gradients of class output with respect to input image (sensitivity maps), class activation map (CAM), and Gradient based Class Activation Maps (Grad-CAM). These methods under perform when localizing multiple occurrences of the same class and do not work for all CNNs. In addition, Grad-CAM does not capture the entire object in completeness when used on single object images, this affect performance on recognition tasks. With the intention to create an enhanced visual explanation in terms of visual sharpness, object localization and explaining multiple occurrences of objects in a single image, we present Smooth Grad-CAM++ \footnote{Simple demo: http://35.238.22.135:5000/}, a technique that combines methods from two other recent techniques---SMOOTHGRAD and Grad-CAM++. Our Smooth Grad-CAM++ technique provides the capability of either visualizing a layer, subset of feature maps, or subset of neurons within a feature map at each instance at the inference level (model prediction process). After experimenting with few images, Smooth Grad-CAM++ produced more visually sharp maps with better localization of objects in the given input images when compared with other methods.

研究の動機と目的

• CNNのGrad-CAMベースの説明の局在化と視覚的鮮明さを改善することで、Explainable AIを動機づける。
• 特徴マップ全体だけでなく、特徴マップ内のニューロンのサブセットの可視化も可能にする。
• より良いデバッグのために、レイヤー、特定の特徴マップ、ニューロン座標を可視化できる推論時ツールを提供する。
• 勾配の平滑化を取り入れて、より完全で視覚的に魅力的なサリエンシーマップを生成する。

提案手法

• 複数のノイズを乗せた入力サンプルに対して勾配を平均化することで、SmoothGradの平滑化をGrad-CAM++に統合する。
• ノイズを加えた n 個の入力に対して一階、二階、三階の偏微分を平均化し、Grad-CAM++ のように alpha と W の重みを勾配の平均で適合させて計算する。
• 平均化された勾配を Grad-CAM++ の式に適用して、最終的なクラス識別性サリエンシーマップを生成する。
• 選択したレイヤー、特徴マップのサブセット、特徴マップ内の領域や座標のニューロンを可視化できる API を提供する。
• 再訓練なしで推論時の可視化を可能にするため、事前訓練済みモデルと指定された畳み込み層（例: VGG-16 最後の畳み込み層）を使用する。
• デバッグ目的で領域ベースのニューロン可視化または座標ベースのニューロンサブセットを選択するオプションを提供する。

実験結果

リサーチクエスチョン

• RQ1 SmoothGrad に触発された勾配の平均化は、サリエンシーマップの視覚的鋭さと局在化を改善しますか？
• RQ2 同じクラスの複数の出現が画像に現れる場合、Smooth Grad-CAM++は物体の局在化を維持または改善しますか？
• RQ3 推論時に、全体の特徴マップだけでなく特徴マップ内のニューロンのサブセットも可視化できますか？
• RQ4 再訓練せずに、さまざまな層と特徴マップでこの手法はどのように動作しますか？
• RQ5 ノイズレベルとサンプル数がサリエンシーマップの品質に与える影響は何ですか？

主な発見

• Smooth Grad-CAM++はGrad-CAMおよびGrad-CAM++と比較して視覚的に鋭いサリエンシーマップを提供し、局在化が改善される。
• この手法は例示画像で物体のより大きな領域を捉え、より良い局在化を実現する。
• この手法は個々の特徴マップレベルおよび特徴マップ内のニューロンのサブセットレベルでの可視化を可能にする。
• 柔軟なニューロンレベルの説明のために、レイヤー、特徴マップ、ニューロン領域を選択する API をサポートする。
• 再訓練なしで推論時の説明性が向上する可能性が示唆され、特に複数の物体出現の場合に顕著である。