[論文レビュー] Evaluating the visualization of what a Deep Neural Network has learned

Wojciech Samek, Alexander Binder+3 more|arXiv (Cornell University)|Sep 21, 2015

Explainable Artificial Intelligence (XAI)参考文献 25被引用数 18

ひとこと要約

本稿では、深層ニューラルネットワークにおけるサリエンシーヒートマップの品質を客観的に評価するための領域摂動ベースの手法を提案する。Layer-wise Relevance Propagation (LRP) が感度ベースやデコンボリューション手法よりも顕著に正確でノイズの少ないヒートマップを生成することを示している。主な貢献は、ネットワーク性能と相関する定量的指標「Average Order of Prediction Change (AOPC)」であり、これにより入力の摂動とモデル出力のみを用いて教師なしでDNNの評価が可能になる。

ABSTRACT

Deep Neural Networks (DNNs) have demonstrated impressive performance in complex machine learning tasks such as image classification or speech recognition. However, due to their multi-layer nonlinear structure, they are not transparent, i.e., it is hard to grasp what makes them arrive at a particular classification or recognition decision given a new unseen data sample. Recently, several approaches have been proposed enabling one to understand and interpret the reasoning embodied in a DNN for a single test image. These methods quantify the ''importance'' of individual pixels wrt the classification decision and allow a visualization in terms of a heatmap in pixel/input space. While the usefulness of heatmaps can be judged subjectively by a human, an objective quality measure is missing. In this paper we present a general methodology based on region perturbation for evaluating ordered collections of pixels such as heatmaps. We compare heatmaps computed by three different methods on the SUN397, ILSVRC2012 and MIT Places data sets. Our main result is that the recently proposed Layer-wise Relevance Propagation (LRP) algorithm qualitatively and quantitatively provides a better explanation of what made a DNN arrive at a particular classification decision than the sensitivity-based approach or the deconvolution method. We provide theoretical arguments to explain this result and discuss its practical implications. Finally, we investigate the use of heatmaps for unsupervised assessment of neural network performance.

研究の動機と目的

• 深層ニューラルネットワークにおけるサリエンシーヒートマップの評価基準が客観的でないという問題に対処すること。
• 実世界の画像分類タスクにおいて、感度法、デコンボリューション法、およびLRPといった異なるヒートマップ生成手法の品質を比較すること。
• DNNの予測において最も影響力のある画像領域を的確に特定できるように、領域摂動戦略を定量的に開発すること。
• ヒートマップの品質が、全体のDNN性能と相関するかどうかを調査し、教師なしでのモデル評価を可能にすること。
• ヒートマップを解釈性のためのものとしてだけでなく、DNNの性能評価の根拠としても使用するための理論的・実験的基盤を提供すること。

提案手法

• ヒートマップ値で順位付けされた最も関連性の高いピクセルから順に、最大スコアのピクセルから始めて領域を反転させる、領域摂動戦略を提案する。
• 摂動が進行するに従ってトップ1予測スコアがどのように低下するかを測定し、品質指標としてAverage Order of Prediction Change (AOPC) を用いる。
• 勾配ベースの感度法、デコンボリューション法、およびLayer-wise Relevance Propagation (LRP) の3つのヒートマップ手法をAOPC指標を用いて比較する。
• LRPにおける保存則を用いて、勾配に依存せずに出力の関連性を入力ピクセルに完全に再配分することで、予測関連性の完全な伝搬を保証する。
• SUN397、ILSVRC2012、MIT Places、CIFAR-10の複数のデータセットにAOPC指標を適用し、ヒートマップの情報量とネットワークの学習進行状況との相関を評価する。
• 教師付ラベルを評価プロセスで必要としない、標準的な画像分類ベンチマークを用いた訓練済みDNNに対して本手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 サリエンシーヒートマップの品質を、主観的な人間評価を超えてどのように客観的に測定できるか？
• RQ2 感度法、デコンボリューション法、およびLRPといった異なるヒートマップ生成手法は、分類意思決定における最も関連性の高い画像領域を特定する上で、どのように比較されるか？
• RQ3 AOPCで測定されたヒートマップの品質は、下位の深層ニューラルネットワーク全体の性能と相関するか？
• RQ4 ヒートマップの品質を用いて、教師なしでDNNの学習進行状況を評価できるか？
• RQ5 理論的および実験的観点から、LRPは勾配ベース法やデコンボリューション法に比べて、意味のある可視化説明を生成する上でどのような利点を有するか？

主な発見

• SUN397やMIT Placesを含むすべてのテストデータセットにおいて、LRPが生成するヒートマップは、感度法およびデコンボリューション法を常に上回るAOPCスコアを示しており、顕著な画像領域を的確に特定できることを示している。
• 感度ベースのヒートマップはSUN397およびMIT Placesでノイズが多く、ほぼランダムなパターンを示しており、実際の分類関連特徴と一致していないことが明らかになった。
• デコンボリューションヒートマップは感度マップよりもノイズが少なく、しかしLRPヒートマップほどスパarselyで情報量が多くない。LRPヒートマップはより正確にグローバルな構造的要素を強調している。
• CIFAR-10においてはAOPC値とネットワークの精度の間に強い相関が観察され、ヒートマップの品質がモデルの学習能力を反映している可能性を示唆している。
• AOPC指標により、テストラベルを必要とせずヒートマップの情報量を測定することで、DNNの教師なし評価が可能になった。
• 理論的分析により、LRPの保存則が局所的な感度を反映する勾配ベース手法とは異なり、関連性の完全な伝搬を保証することが示された。