[論文レビュー] Full-Gradient Representation for Neural Network Visualization

Suraj Srinivas, François Fleuret|arXiv (Cornell University)|May 2, 2019

Explainable Artificial Intelligence (XAI)被引用数 74

ひとこと要約

本論文は FullGrad を紹介します。全勾配表現で、ニューラルネットワークの出力を入力とニューロンの両方に帰属させ、完備性と弱依存性を満たし、畳み込みネットの近似 FullGrad を定量的および定性的に評価します。

ABSTRACT

We introduce a new tool for interpreting neural net responses, namely full-gradients, which decomposes the neural net response into input sensitivity and per-neuron sensitivity components. This is the first proposed representation which satisfies two key properties: completeness and weak dependence, which provably cannot be satisfied by any saliency map-based interpretability method. For convolutional nets, we also propose an approximate saliency map representation, called FullGrad, obtained by aggregating the full-gradient components. We experimentally evaluate the usefulness of FullGrad in explaining model behaviour with two quantitative tests: pixel perturbation and remove-and-retrain. Our experiments reveal that our method explains model behaviour correctly, and more comprehensively than other methods in the literature. Visual inspection also reveals that our saliency maps are sharper and more tightly confined to object regions than other methods.

研究の動機と目的

• 入力レベルとニューロンレベルの重要性の両方を捉える帰属手法の必要性を動機付ける。
• 弱依存性と完備性を定義し、それらが伝統的なサリエンシー・マップでは同時に満たせないことを示す。
• 入力勾配とバイアス勾配の寄与を統合する全勾配表現を導入する。
• 畳み込みネットに対して Sharp で対象を局在化したサリエンシーマップを生成するための FullGrad を提案する。
• ピクセル撹乱と削除再学習テストを用いて FullGrad を評価し、信頼性の向上を示す。

提案手法

• ネットワーク出力を入力勾配とバイアス勾配に分解する全勾配分解を導出する。
• f(x; b) が入力勾配項とバイアス勾配項の和として表現できることを示す（f^b(x)）。
• 定義された式により、CNN のためにニューロンごとおよび層ごとのバイアス勾配をネットワーク全体のサリエンシーマップに集約する。
• 全勾配成分を視覚的サリエンシーマップに変換するポスト処理演算子 psi を定義する（FullGrad）。
• 層全体にまたがる入力勾配マップと集約されたバイアス勾配マップを組み合わせた近似的な FullGrad を提供する。
• 視覚化の手順と、ネットワーク内の暗黙のバイアスを含むバイアス項の役割について論じる。

実験結果

リサーチクエスチョン

• RQ1 サリエンシー表現は入力への弱い依存と完備性の両方を同時に満たすことができるか。
• RQ2 入力特徴とニューロンの寄与の両方を含む、より表現力のある帰属をどのように構築できるか。
• RQ3 全勾配アプローチは、CNN において既存の手法よりも鋭く局在化したサリエンシーマップを生み出すか。
• RQ4 撹乱と再学習評価の下で、全勾配ベースのサリエンシーマップはモデル挙動により適合するか。
• RQ5 視覚化ツールとしての FullGrad の有効性に対する後処理の選択の影響は何か。

主な発見

• Full-gradients は、入力勾配とバイアス勾配からネットワーク出力を再構成することにより、完全な表現を提供する。
• バイアスを持つ ReLU ネットワークでは、f(x) は入力と入力勾配の内積と、バイアス勾配とバイアスの内積の和に等しい。
• CNNs の FullGrad は、入力と同じ受容野構造を持つバイアス勾配を可視化することにより、空間マップを生み出し、ニューロンごとおよび層ごとのサリエンシーマップを生成する。
• 提案された集約は、物体領域に厳密に制限されつつ、内部構造も輪郭化する鋭いサリエンシーマップをもたらす。
• 定量評価（ピクセル撹乱および ROAR に類似したテスト）により、FullGrad がモデル挙動への忠実度の点でいくつかの既存のサリエンシー手法を上回ることを示す。