[論文レビュー] Learning how to explain neural networks: PatternNet and PatternAttribution

Pieter Jan Kindermans, Kristof T. Schütt+5 more|arXiv (Cornell University)|May 16, 2017

Neural Networks and Applications被引用数 246

ひとこと要約

本論文は線形設定におけるニューラルネットワークの説明手法を分析し、既存アプローチの不足を指摘し、理論的に妥当でデータ駆動型の説明としてPatternNetとPatternAttributionを導入し、深層ネットワークへ一般化することを示す。さらにImageNet（VGG-16）での経験的エビデンスを提供し、信号視覚化とアトリビューションの改善を示す。

ABSTRACT

DeConvNet, Guided BackProp, LRP, were invented to better understand deep neural networks. We show that these methods do not produce the theoretically correct explanation for a linear model. Yet they are used on multi-layer networks with millions of parameters. This is a cause for concern since linear models are simple neural networks. We argue that explanation methods for neural nets should work reliably in the limit of simplicity, the linear models. Based on our analysis of linear models we propose a generalization that yields two explanation techniques (PatternNet and PatternAttribution) that are theoretically sound for linear models and produce improved explanations for deep networks.

研究の動機と目的

• 信号と分散要素を制御・解析的に追跡できる線形モデルに焦点を当て、信頼性の高い説明を動機づける。
• 既存の可視化/アトリビューション手法（例：DeConvNet、Guided BackProp、LRP）が真の信号を表現する際の限界を示す。
• 線形モデルと深層ネットワークへの拡張を提供する、理論的に妥当でデータ駆動型の説明としてPatternNetとPatternAttributionを提案する。
• 提案手法を実用的なネットワークとデータセットで評価し、定性的・定量的な改善を示す。

提案手法

• 入力を x = s + d とモデル化し、信号 s = a_s y、妨害 d を定義して、線形重み w が信号方向 a_s にどのように関連するかを分析する。
• 真の信号を推定する際に出力 y に関する情報を残差からいかに除去するかを測る品質基準 rho(S) を導入し、真の信号の推定を導く。
• 既存の信号推定器（S_x, S_w）をレビューし、特に非線形な後段層で真の信号を検出する際の制約を示す。
• 品質基準を最適化することでニューロンの非線形信号推定器としてPatternNetを導出し、推定信号を入力空間へバック投影する。
• Deep Taylor Decomposition のルート点推定器としてPatternAttributionを導出し、妨害要素を無視して分類スコアへのニューロン単位の寄与を得る。
• ReLU/非線形効果に対処する正/負のレジームを扱うS_{a+-} の実用的推定器を提供し、閉形式解（Eq. 4.3 および Eq. 7）を導く。
• PatternNetは、後方伝播時に生の重みを情報方向に置換することで、勾配に似たバックプロパゲーションへ簡略化されることを示す。

実験結果

リサーチクエスチョン

• RQ1 既存の説明手法は線形モデル、ひいては深層ネットワークで真の信号を確実に捉えているのか。
• RQ2 説明における信号と妨害を分離する principled な品質基準を定義できるか。
• RQ3 線形および非線形層の両方で prior 手法より優れた信号推定器/アトリビューション推定器をPatternNet/PatternAttributionとして構築できるか。
• RQ4 提案手法は実ネットワークとデータセット（例：ImageNet）で定性的・定量的により明瞭な可視化とヒートマップを生み出すか。

主な発見

• DeConvNetやGuided BackPropのような既存手法は線形モデルで真の信号を一貫して捉えないことがあり、信号を意識したアプローチの必要性を示唆する。
• 品質基準 rho(S) は、残差から妨害情報を除去する信号推定器の学習を導き、説明を改善する。
• PatternNetは入力空間への信号のバック投影を改善し、従来手法よりも鋭く忠実な視覚化を提供する。
• PatternAttribution は妨害要素を無視することでニューロン単位の寄与を明確にし、Deep Taylor Decomposition のルート点推定として機能する。
• 正/負のレジームに対応する二成分推定器 S_{a+-} は ReLU による線形結合層での信号推定を改善する。
• ImageNetのVGG-16へ適用すると、PatternNet/PatternAttribution は定量的・定性的な説明を改善し、勾配ベースや重みに基づくベースラインより相関や劣化テストで優れていた。
• PatternAttribution のバックプロパゲーション風の計算は、情報方向に置換した重みにより、既存のリアルタイムサリエンシー手法と同等かそれより速い説明を実現する。