[論文レビュー] A Forward-Backward Approach for Visualizing Information Flow in Deep Networks

Aditya Balu, Thanh V. Nguyen+3 more|arXiv (Cornell University)|Nov 16, 2017

Explainable Artificial Intelligence (XAI)参考文献 5被引用数 6

ひとこと要約

本稿では、行列随伴と適応的マスキングを用いて前方活性化と後方伝播を統合することで、高解像度で数値的に安定したサリエンシーマップを生成する、視覚的畳み込みネットワーク内の情報フローを可視化するための新規な前向き・後向き解釈性（FBI）フレームワークを提案する。この手法は、参照画像を必要とせず、複雑な最適化を伴わないため、勾配上がりの手法（例：ガイド付きバックプロパゲーション）に比べてノイズを低減し、解釈性を向上させる。

ABSTRACT

We introduce a new, systematic framework for visualizing information flow in deep networks. Specifically, given any trained deep convolutional network model and a given test image, our method produces a compact support in the image domain that corresponds to a (high-resolution) feature that contributes to the given explanation. Our method is both computationally efficient as well as numerically robust. We present several preliminary numerical results that support the benefits of our framework over existing methods.

研究の動機と目的

• 画像内のオブジェクト検出を対象として、深層ニューラルネットワークにおける解釈性の課題を解決すること。
• 勾配上がり手法に見られる勾配の消失／爆発や高い計算コストといった既存手法の限界を克服すること。
• 一部の勾配上がり安定化手法で用いられる任意の参照画像に依存しないようにすること。
• 予測クラスに該当する関連画像領域を明確に強調する、高解像度でスパースかつ数値的に安定したサリエンシーマップを生成すること。
• 原理的かつ計算的に効率的な方法で、前方特徴活性化と後方情報フローを統合すること。

提案手法

• 本手法は2回の前方パスを実行する：1回目は前方活性化を計算し、2回目は随伴演算を用いてクラス固有の勾配を後方伝播させる。
• 各レイヤーで、前方活性化との閾値付き要素ごとの積を用いて後方活性化をマスキングし、関連する特徴のみを保持する。
• プーリングの逆操作として、受容 field 内でプールされた特徴マップの値を複製することで、空間的構造を保持し、DeconvNet よりもスパarsity を低減する。
• 逆畳み込み（deconvolution）は、フィルタ重みを反転させた転置畳み込みを用いて、ピクセル単位のサリエンシーマップを再構築する。
• このプロセスをレイヤーごとに繰り返し、合計活性化の大きさに基づいて上位-k 個の寄与する特徴マップのみを選択する。
• 最終出力は、予測クラスに最も寄与する特徴に対応するピクセル空間におけるスパースなサポートである。

実験結果

リサーチクエスチョン

• RQ1 前向き・後向きフレームワークは、勾上下がり手法に比べ、より高解像度でより安定したサリエンシーマップを生成できるか？
• RQ2 前方活性化を体系的に後方フローと組み合わせることで、解釈性を向上させ、ノイズを低減できるか？
• RQ3 勾上下がり安定化手法で必要とされる参照画像の必要性を維持したまま、数値的安定性を保ちつつ排除できるか？
• RQ4 前方活性化でマスキングされた後方活性化が、特徴の局所化とスパarsity の向上にどの程度寄与するか？
• RQ5 上位-k フィルタの選択が、得られる可視化の品質と識別能にどのように影響するか？

主な発見

• FBI手法は、特に高解像度画像領域において、ガイド付きバックプロパゲーションに比べてノイズの少ない可視化を生成する。
• 上位特徴マップの50%と前方・後方マスキング用の閾値10.0を用いることで、視覚的に整合性があり、識別能の高いサリエンシーマップが得られる。
• 100%のフィルタを用い、閾値を設定しない場合、DeconvNet と同等の性能を達成するが、ノイズ低減とより高いロバストネスを実現する。
• フレームワークは計算的に効率的であり、1枚の入力画像あたりネットワークを2回の前方パスのみで実行する。
• 勾配の消失／爆発の問題を回避するため、バックプロパゲーションされた勾配ではなく、行列随伴と閾値処理に依存している。
• 得られるサリエンシーマップはスパースで解釈可能であり、スパース性は閾値パラメータ τ で制御される。