[論文レビュー] Visualizing Deep Neural Network Decisions: Prediction Difference Analysis

Luisa Zintgraf, Taco Cohen+2 more|arXiv (Cornell University)|Feb 15, 2017

Explainable Artificial Intelligence (XAI)参考文献 10被引用数 431

ひとこと要約

予測差分分析を導入し、与えられた入力について、ニューラルネットワークの決定を支持/不支持とする画像領域を可視化する。条件付き、多変量サンプリングと隠れ層の深部可視化によって、従来の方法より改善。

ABSTRACT

This article presents the prediction difference analysis method for visualizing the response of a deep neural network to a specific input. When classifying images, the method highlights areas in a given input image that provide evidence for or against a certain class. It overcomes several shortcoming of previous methods and provides great additional insight into the decision making process of classifiers. Making neural network decisions interpretable through visualization is important both to improve models and to accelerate the adoption of black-box classifiers in application areas such as medicine. We illustrate the method in experiments on natural images (ImageNet data), as well as medical images (MRI brain scans).

研究の動機と目的

• 医療や科学など高リスク領域における解釈可能な深層学習の必要性を動機づける。
• 個々の入力に対して分類器の決定を説明するインスタンス固有の可視化手法を開発する。
• 条件付きサンプリング、多変量分析、隠れ層の深部可視化を用いて、従来の可視化手法を改善する。

提案手法

• WE_i(c|x) を p(c|x) と p(c|x_{ackslash i}) の対数オッズ差として、クラスに対する特徴の関連度を定量化するPrediction Difference Analysisを拡張する。
• 条件付きサンプリングを導入する: p(x_i|x_{ackslash i}) を p(x_i|x̂_{ackslash i}) で近似する。ここで x̂_i は x_i を取り囲むパッチである。
• ピクセルの意味の推定をより堅牢にするため、k×k のパッチを評価し、重複するパッチを平均して多変量サンプリングを採用する。
• 深いネットワークへフレームワークを拡張する: g(z|h_{ackslash i}) と AD_i(z|h) を定義して、より深いノードへの隠れ層の寄与を評価する。
• アルゴリズム (Algorithm 1) を提供して、S サンプルでパッチ全体の WE を計算する。
• ImageNet DCNNs (AlexNet, GoogLeNet, VGG) および MRI 拡散強調画像にロジスティック回帰分類器を用いて適用可能性を実証する。

実験結果

リサーチクエスチョン

• RQ1 DCNN において、特定の入力が特定のクラスについて与える賛否の根拠をどのように定量化・可視化できるか？
• RQ2 条件付き・多変量サンプリングは周辺的な、単変量アプローチよりも正確で解釈可能な説明を生み出すか？
• RQ3 隠れ層の活性化が深部のノードや出力ノードの決定にどのように影響するかを方法は明らかにできるか？
• RQ4 視覚化は異なるネットワークアーキテクチャやデータモダリティ（自然画像 vs 医用画像）でどのように振る舞うか？

主な発見

• 条件付きサンプリングは、周囲の対象物を中心としたより標的化された、細かい説明をもたらす。
• 多変量、パッチベースの分析は、1ピクセル削除よりも意味のある、堅牢な関連度マップを提供する。
• ペンプリント層（penultimate）と出力層の視覚化は、異なるクラス識別の手がかりを示し、出力層の視覚化は似たクラス間でのクラス特異的決定を強調する。
• AlexNet、GoogLeNet、VGG における説明のアーキテクチャ依存の差を露呈し、文脈焦点 vs オブジェクト特異的手がかりなど。
• MRI データに適用すると、視覚化は専門家の直感と一致し、ノイズに弱い重みと対比をなすことで臨床解釈を助ける。