[論文レビュー] A Taxonomy and Library for Visualizing Learned Features in Convolutional Neural Networks

Felix Grün, Christian Rupprecht+2 more|arXiv (Cornell University)|Jun 24, 2016

Explainable Artificial Intelligence (XAI)参考文献 21被引用数 52

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）の特徴を可視化するための三クラス分類法を提案する：入力変更、逆畳み込み、入力再構築手法。本論文では、MatConvNet用のオープンソースMATLABライブラリであるFeatureVisを導入し、最先端の可視化技術を実装することで、研究者が学習された特徴を解釈し、ネットワークの挙動を分析し、アーキテクチャをより明確かつ再現可能に比較できるようにする。

ABSTRACT

Over the last decade, Convolutional Neural Networks (CNN) saw a tremendous surge in performance. However, understanding what a network has learned still proves to be a challenging task. To remedy this unsatisfactory situation, a number of groups have recently proposed different methods to visualize the learned models. In this work we suggest a general taxonomy to classify and compare these methods, subdividing the literature into three main categories and providing researchers with a terminology to base their works on. Furthermore, we introduce the FeatureVis library for MatConvNet: an extendable, easy to use open source library for visualizing CNNs. It contains implementations from each of the three main classes of visualization methods and serves as a useful tool for an enhanced understanding of the features learned by intermediate layers, as well as for the analysis of why a network might fail for certain examples.

研究の動機と目的

• CNNが学習する内容を解釈する課題に対処し、既存の可視化手法を一貫性のあるフレームワークに整理すること。
• 研究コミュニティにおけるコミュニケーションと比較を向上させるために、特徴可視化手法の標準化された用語と分類システムを提供すること。
• MatConvNetベースのCNN向けに、複数の可視化手法を統合した、アクセスしやすいオープンソースライブラリ（FeatureVis）を開発すること。
• 研究者が中間層の特徴を分析し、モデルの失敗を診断し、アーキテクチャを視覚的に比較できるようにすること。
• 損失層に依存しない可視化手法の設計により、分類を超えた多様な深層学習タスク（回帰やセグメンテーションなど）に対しても効果的に応用できることを支援すること。

提案手法

• 入力変更（例：オクルージョン）、逆畳み込み（例：ガイドドバックプロパゲーション）、入力再構築（例：勾配ベース最適化）の三クラス分類法を提案。
• MatConvNetの拡張としてFeatureVisライブラリを実装し、追加の設定なしに複数のCNNアーキテクチャとレイヤー種別をサポート。
• 複数の逆畳み込み手法をサポート：Deconvnet、バックプロパゲーション、ガイドドバックプロパゲーション（ReLU活性化の伝搬用）。
• 二種類の畳み込み層伝搬手法を統合：バックプロパゲーションと関連性伝搬（特徴の寄与度付与用）。
• ユーザー定義の色またはランダムなピクセルパッチを用いたカスタマイズ可能なオクルージョンを実装し、一様なグレーのパッチによるアーチファクトを低減。
• Lpノルムと全変動正則化を設定可能な勾配ベースの入力再構築をサポートし、画像品質と滑らかさを制御可能に。

実験結果

リサーチクエスチョン

• RQ1 CNNにおける既存の特徴可視化手法を、体系的かつ比較可能な方法で分類・整理することは可能か？
• RQ2 入力変更、逆畳み込み、入力再構築の各可視化手法には、どのような特徴的特徴と機能的差異があるか？
• RQ3 統一的でオープンソースのライブラリが、深層学習研究における可視化の再現性とアクセス性をどの程度向上できるか？
• RQ4 異なる可視化手法は、さまざまなネットワークアーキテクチャにおいて、特徴がネットワーク予測に寄与する様子をどのように明らかにするか？
• RQ5 分類を越えて、例えば深度推定やポーズ推定のような回帰タスクにも、可視化手法を効果的に応用できるか？

主な発見

• 提案された分類法は、手法の根本的メカニズムと目的に基づき、既存の特徴可視化手法を三つの明確で意味のあるクラスに体系的に分類できた。
• FeatureVisにより、異なるネットワーク間での可視化出力を直接比較可能となり、トップ1誤差が低いネットワーク（例：ResNet-101は23.4%）では、特徴マップがより鋭く集中していることが明らかになった。
• ガイドドバックプロパゲーションは、分類に寄与する入力特徴の可視化において、標準的な逆畳み込みやオクルージョン手法を上回る、最も鋭い結果を生成した。
• ランダムなピクセルパッチを用いたオクルージョンにより、一様なグレーのパッチが引き起こすアーチファクトが低減され、サリエンシーマップの信頼性が向上した。
• 損失に依存しない設計のおかげで、ライブラリは分類を超えて、セマンティックセグメンテーションや深度予測といったタスクに対しても対応可能となった。
• Lpノルムと全変動正則化を用いた勾配降下による入力再構築は、高品質で解釈可能な入力特徴の再構築を実現した。