[論文レビュー] Investigating the influence of noise and distractors on the interpretation of neural networks

Pieter-Jan Kindermans, Kristof T. Schütt+2 more|arXiv (Cornell University)|Nov 22, 2016

Explainable Artificial Intelligence (XAI)参考文献 4被引用数 91

ひとこと要約

この論文は、深層テイラー分解フレームワークを用いて、ノイズおよび不要な信号がニューラルネットワークの解釈可能性に与える影響を調査する。本稿では、タスク関連の変動方向を学習する新たな説明ルール $w^+$ および $a^+$ を提案し、勾配ベースの手法（類似度マップや $z$-ルール）と比較して、ノイズ条件下でも優れた耐性を示す。

ABSTRACT

Understanding neural networks is becoming increasingly important. Over the last few years different types of visualisation and explanation methods have been proposed. However, none of them explicitly considered the behaviour in the presence of noise and distracting elements. In this work, we will show how noise and distracting dimensions can influence the result of an explanation model. This gives a new theoretical insights to aid selection of the most appropriate explanation model within the deep-Taylor decomposition framework.

研究の動機と目的

• ノイズおよび不要な信号がニューラルネットワークの解釈手法の信頼性に与える影響を分析すること。
• 特に深層テイラー分解フレームワーク内での既存の説明ルールに内在する暗黙の仮定を特定すること。
• データ固有の変動方向を学習することで、ノイズおよび不要な信号に対して耐性を持つ新たな説明ルールを開発すること。
• ノイズを含むMNISTデータ上でこれらのルールの性能を評価し、類似度マップや $z$-ルールといった既存手法と比較すること。

提案手法

• 観測されたデータ $\bm{x}$ がタスク関連信号 $\bm{a}_t s_t$、ノイズ $A_n \bm{s}_n^T$、およびガウスノイズ $\mathbf{\epsilon}$ に分解される生成モデルを用いる。$s_t$ はターゲット信号を表す。
• 出力の関連度を、根元点 $\tilde{\bm{x}}^j$ のまわりにおける一次テイラー展開を用いて、層ごとに再分配する深層テイラー分解を適用し、関連度の保存を保証する。
• 方向が勾配上昇方向 $\bm{w}$ である $w^+$ ルールを導入し、活性な入力ニューロンとReLUベースのスケーリングを用いて適応させる。
• 入力共分散行列 $X$ の疑似逆行列を用いて、データ内の主成分的変動方向を学習する $a^+$ ルールを提案する。クラス関連の信号方向に焦点を当てる。
• 根元点選択戦略を採用し、$\bm{w}^T \tilde{\bm{x}}^j = 0$ を満たすことで、分解の安定性を高め、ノイズへの感受性を低減する。
• MNISTにガウスノイズ（σ = 0.0 から 0.8）を追加したデータ上で、類似度マップ、$z$-ルール、$w^+$、$a^+$ ルールのヒートマップを比較して検証する。

実験結果

リサーチクエスチョン

• RQ1 ノイズおよび不要な信号は、ニューラルネットワークの解釈において、勾配ベースの説明手法（類似度マップや $z$-ルール）の信頼性にどのように影響を与えるか？
• RQ2 深層テイラー分解フレームワーク内の異なる説明ルールは、データ分布およびノイズ構造について、どのような暗黙の仮定を置いているか？
• RQ3 固定された勾配方向に依存するのではなく、データ固有の変動方向を学習することで、ノイズに強い説明ルールを設計できるか？
• RQ4 ノイズレベルが上昇する条件下で、$w^+$ および $a^+$ ルールは、既存手法と比較して安定性および解釈性の面でどのように差を示すか？

主な発見

• $z$-ルールはクリアなが、ノイズに敏感な説明を生成し、ノイズが増加するにつれて著しく劣化する。これは、ノイズなしの生成モデルを仮定しているためである。
• 類似度マップはノイズに対して安定しているが、背景領域に対しても関連度を割り当てており、ノイズに強くても解釈性は限定的である。
• $w^+$ ルールは、グローバル勾配方向に依存しているため、入力画像全体に正の関連度を割り当てるが、ノイズに対しては安定している。
• $a^+$ ルールは、'4' や '8' の隙間のような、MNISTの数字の中心部で変動が大きい領域に焦点を当てる。これは直感的なクラス判別特徴と一致する。
• $w^+$ および $a^+$ ルールは、$z$-ルールや類似度マップと比較して、ノイズ増加に伴う説明品質の劣化が著しく少ない。
• $a^+$ ルールは、クラス判別に寄与する変動方向に焦点を当てるため、ノイズ環境下でもクラス間の特徴を解釈するのに特に適している。