[論文レビュー] Layer-wise Relevance Propagation for Neural Networks with Local Renormalization Layers

Alexander Binder, Grégoire Montavon+3 more|arXiv (Cornell University)|Apr 4, 2016

Explainable Artificial Intelligence (XAI)参考文献 1被引用数 25

ひとこと要約

本論文は、一階のテイラー展開を用いて畳み込みニューラルネットワーク内の局所正規化層を扱えるように、Layer-wise Relevance Propagation (LRP) を拡張する。これにより、正確なピクセル単位の関連性割り当てが可能となる。本手法は、CIFAR-10、ImageNet、MIT Placesの各データセットにおいて、ヒートマップの品質を著しく向上させ、ベースラインとなるLRPに比べてAUCスコアが最大35.84ポイント向上する。

ABSTRACT

Layer-wise relevance propagation is a framework which allows to decompose the prediction of a deep neural network computed over a sample, e.g. an image, down to relevance scores for the single input dimensions of the sample such as subpixels of an image. While this approach can be applied directly to generalized linear mappings, product type non-linearities are not covered. This paper proposes an approach to extend layer-wise relevance propagation to neural networks with local renormalization layers, which is a very common product-type non-linearity in convolutional neural networks. We evaluate the proposed method for local renormalization layers on the CIFAR-10, Imagenet and MIT Places datasets.

研究の動機と目的

• 標準的なLRPが畳み込みニューラルネットワーク内の積型非線形関数（例：局所正規化層）を処理できないという限界を解消すること。
• 非線形的かつ加法的でない活性化機構を有する深層ニューラルネットワークにおいて、忠実なピクセル単位の関連性割り当てを可能にすること。
• 実世界の画像分類データセットを用いた、テイラーに基づく関連性伝播の有効性を評価すること。
• アイデンティティベースの正規化を用いた標準的なLRPと比較して、テイラーに基づくLRPの性能を検証すること。

提案手法

• 局所正規化層の活性化関数に対して一階のテイラー展開を適用し、関連性再配分ルールを導出する。
• 非線形ニューロンに対して、標準的な線形近似の代わりに局所的なテイラーに基づく近似を用いてLRPフレームワークを適合させる。
• テイラー展開を用いて、上位層のニューロンから下位層のニューロンへと関連性メッセージ $ R^{(l,l+1)}_{i ightarrow j} $ を計算し、関連性の保存を保証する。
• 標準的なLRPが失敗する、積型非線形性（例：CNNにおける空間正規化）を有する層に本手法を適用する。
• 関連性伝播に $ \epsilon $-ルールおよび $ \beta $-ルールを用い、正規化層ではアイデンティティマッピングの代わりにテイラー展開を導入する。
• 一貫性と解釈可能性を保持する、微分可能で局所的な近似戦略を提案する。

実験結果

リサーチクエスチョン

• RQ1 一階のテイラー展開を用いて、加法的でなく標準的なLRPがカバーしない局所正規化層にLRPを拡張できるか？
• RQ2 ベンチマークデータセットにおけるヒートマップ品質の観点から、テイラーに基づくLRPとアイデンティティ正規化を用いた標準的なLRPの性能はどのように比較されるか？
• RQ3 テイラー展開を用いる場合、どのハイパーパramータ（$ \epsilon $, $ \beta $）が最も代表的で選択的（selective）なヒートマップを生成するか？
• RQ4 正規化層でテイラー展開を使用することで、LRP全体の整合性と解釈可能性が損なわれるか？

主な発見

• 局所正規化層にテイラー展開を適用することで、ImageNetではAUCスコアが最大35.84ポイント、MIT Placesでは33.13ポイント向上する。
• 最も優れた設定（テイラー、$ \epsilon = 1 $）は、視覚化（図3）により、最高のピクセル選択性と最小のノイズを達成していることが確認された。
• $ \epsilon = 1 $ および $ \epsilon = 0.01 $ の場合、テイラーに基づくLRPはアイデンティティベースのLRPを常に上回り、AUCスコアの改善はそれぞれ -35.84 および -33.13 であった。
• $ \beta = 1 $ および $ \beta = 0 $ の設定では滑らかなヒートマップが得られるが、テイラーに基づくLRPは全設定で優れた性能を維持している。
• すべてのデータセットで性能順序は一貫しており、$ \epsilon = 1 $、$ \epsilon = 0.01 $、$ \epsilon = 100 $、$ \beta = 1 $、$ \beta = 0 $ の順となり、上位設定ではテイラーに基づくLRPがアイデンティティベースを常に上回っている。
• 本手法は頑健で汎用性が高く、CIFAR-10、ImageNet、MIT Placesなど多様なデータセットで一貫した改善効果を示している。