[論文レビュー] Visual Explanation by Interpretation: Improving Visual Feedback Capabilities of Deep Neural Networks

José Oramas, Kaili Wang+1 more|arXiv (Cornell University)|Dec 18, 2017

Explainable Artificial Intelligence (XAI)参考文献 36被引用数 26

ひとこと要約

本論文は、分類タスクに必要な内部特徴を自動で同定し、修正されたデコンボリューション手法を用いてアーティファクトを低減した高精細な視覚的説明を生成することで、深層ニューラルネットワークにおける視覚的フィードバックを向上させる手法を提案する。本研究では、追加のアノテーションを必要とせず、客観的・定量的な評価が可能な新しいデータセット an8Flower を導入し、優れた特徴カバレッジと解釈可能性を示した。

ABSTRACT

Interpretation and explanation of deep models is critical towards wide adoption of systems that rely on them. In this paper, we propose a novel scheme for both interpretation as well as explanation in which, given a pretrained model, we automatically identify internal features relevant for the set of classes considered by the model, without relying on additional annotations. We interpret the model through average visualizations of this reduced set of features. Then, at test time, we explain the network prediction by accompanying the predicted class label with supporting visualizations derived from the identified features. In addition, we propose a method to address the artifacts introduced by stridded operations in deconvNet-based visualizations. Moreover, we introduce an8Flower, a dataset specifically designed for objective quantitative evaluation of methods for visual explanation.Experiments on the MNIST,ILSVRC12,Fashion144k and an8Flower datasets show that our method produces detailed explanations with good coverage of relevant features of the classes of interest

研究の動機と目的

• 深層ニューラルネットワークにおける予測の視覚的記述を可能にすることで、モデルの解釈と説明のギャップを埋めること。
• 視覚的説明にための高価なピクセル単位のアノテーションに依存しないように、既存の学習ラベルを活用すること。
• ストライド演算によって引き起こされるアーティファクトを引き起こすデコンボリューションベースの可視化手法の問題を解消すること。
• 新しい合成データセット an8Flower を用いて、視覚的説明手法の客観的・定量的ベンチマークを提供すること。
• ネットワークフィルタのスパースかつタスク関連のサブセットに焦点を当てることで、視覚フィードバックの質と関連性を向上させること。

提案手法

• ターゲットクラスの予測に最も寄与する最小限の内部フィルタを特定するため、μ-l latter による最適化問題としてフィルタ選択を定式化する。
• 選択されたフィルタの平均可視化を生成することで、モデルが学習した表現を解釈する。
• 推論時、選択されたフィルタからの活性化を逆方向に伝搬することで、ストライブ層に起因するアーティファクトを低減した修正されたデコンボリューションに基づく方法で、クラス固有のヒートマップを生成する。
• 空間的精度と特徴の局所化を向上させるために、デコンボリューションパイプライン内にガイドドバックプロパゲーションを統合する。
• 制御された識別的特徴を備えた合成データセット an8Flower を導入し、定量的評価に適した真値マスクの生成を可能にする。
• クラス感受性分析を用いて説明の品質を評価し、予測クラスの変化に伴い可視化が意味的に変化することを保証する。

実験結果

リサーチクエスチョン

• RQ1 DNNベースの説明手法は、追加のピクセル単位のアノテーションを必要とせず、高品質でアーティファクトのない視覚的フィードバックを達成できるか？
• RQ2 事前学習済みモデルにおいて、特定のクラスに対する内部特徴の関連性を自動で同定する方法は何か？
• RQ3 視覚的説明は、予測クラスに対してどの程度感受性を示すか。これにより、モデルの意思決定を反映しているか、入力のアーティファクトに由来しているかを確認できるか？
• RQ4 客観的・定量的な説明手法の評価が可能なように、合成データセットを設計できるか？
• RQ5 提案手法は、既存の説明技術と比較して、特徴カバレッジと視覚的忠実度の点でどの程度優れているか？

主な発見

• 提案手法は、MNIST、ILSVRC12、Fashion144k、および an8Flower データセットにおいて、関連する特徴を強くカバーする詳細な視覚的説明を生成した。
• μ-l latter を用いたフィルタ選択により、ターゲットクラスを強く予測するスパースで意味のあるフィルタサブセットを同定した。
• 修正されたデコンボリューションパイプラインは、ストライブ層に起因するアーティファクトを顕著に低減し、標準的な DeconvNet と比較して可視化品質が向上した。
• 本手法は予測クラスに対して高い感受性を示した：異なるクラスの説明は、明確に異なる画像領域を強調しており、モデルの意思決定に依存していることが確認された。
• an8Flower データセットにより、説明手法の客観的・定量的評価が可能となり、比較用の真値マスクが入手可能となった。
• ユーザー研究は評価に不要であり、測定可能な指標を備えた制御された再現性のあるベンチマークにより、本手法の性能が検証された。