[論文レビュー] Visualizing and Comparing Convolutional Neural Networks

Wei Yu, Kuiyuan Yang+3 more|arXiv (Cornell University)|Dec 20, 2014

Neural Networks and Applications参考文献 5被引用数 52

ひとこと要約

本論文は、t-SNEを用いた表現空間の分析と、畳み込みニューラルネットワーク（CNN）の入力特徴の再構成を通じて、デコングォリューションネットワークを用いた逆方向のプロセスを組み合わせることで、CNNの解釈を可能にする二重可視化フレームワークを提案する。本研究では、VGGNetのような深層ネットワークが、AlexNetのような浅層アーキテクチャと比較して、段階的に不要な背景情報を抑制することで、優れた特徴の識別性能と分類性能を発揮することを示している。

ABSTRACT

Convolutional Neural Networks (CNNs) have achieved comparable error rates to well-trained human on ILSVRC2014 image classification task. To achieve better performance, the complexity of CNNs is continually increasing with deeper and bigger architectures. Though CNNs achieved promising external classification behavior, understanding of their internal work mechanism is still limited. In this work, we attempt to understand the internal work mechanism of CNNs by probing the internal representations in two comprehensive aspects, i.e., visualizing patches in the representation spaces constructed by different layers, and visualizing visual information kept in each layer. We further compare CNNs with different depths and show the advantages brought by deeper architecture.

研究の動機と目的

• 外部性能は優れているものの、依然として『ブラックボックス』とされるCNNの内部的動作メカニズムを理解すること。
• 特にパターンの組織化と特徴の抽象化の観点から、CNNの各層における表現空間の進化を調査すること。
• 深層（VGGNet）と浅層（AlexNet）のCNNアーキテクチャ間における特徴抽出および情報フィルタリング能力の比較。
• ネットワークの深さが、識別的特徴学習と背景抑制を向上させる役割を評価すること。

提案手法

• t-SNEを用いて高次元の内部活性を2次元に投影し、各層における類似した画像パッチが特徴の類似性に応じてどのようにクラスタリングされるかを可視化することで、表現空間の構造を明らかにする。
• 前方伝播の逆方向をたどるデコングォリューションネットワークを用いて、内部特徴マップから入力画像パッチを再構成し、最も識別的な構造を保持する。
• 上位層から下位層へと逆方向にマックスプーリングおよび逆ReLU操作を適用し、空間的構造と活性化パターンを維持しながら特徴マップを再構成する。
• VGGNetとAlexNetの間で、各層における再構成特徴を比較し、背景抑制と識別的部分の保持に注目する。
• 各層におけるゼロ活性化の割合として表現のスパarsityを測定し、各ネットワークが非識別的特徴をどれだけ効果的にフィルタリングしているかを評価する。
• ImageNet ILSVRC2012のバリデーションセットを用いて、複数の実世界の画像において内部表現を評価・可視化する。

実験結果

リサーチクエスチョン

• RQ1 CNNの内部表現は、特徴の抽象化とクラスタリングの観点から、各層を通じてどのように進化するか？
• RQ2 デコングォリューション再構成によって、特定のフィルターや特徴マップを活性化させる視覚的構造をどの程度まで明らかにできるか？
• RQ3 ネットワークの深さが、特徴学習中に不要な背景情報を抑制する能力にどのように影響するか？
• RQ4 深層（VGGNet）と浅層（AlexNet）のアーキテクチャ間で、表現のスパarsityと識別的特徴の保持にどのような差が生じるか？

主な発見

• t-SNEの可視化により、深層CNNの表現空間が、低層では低レベルのテクスチャから、高層へと段階的に高レベルの意味的パターンへと特徴が組織化されていることが明らかになった。
• デコングォリューション再構成により、VGGNetのような深層ネットワークが段階的に不要な背景コンテンツを除去し、高層では画像の最も識別的な部分のみを保持していることが明らかになった。
• 最終畳み込み層において、VGGNetはAlexNetと比較してより多くの識別的情報を保持しており、後者はより多くの背景の干渉要因を保持していた。
• 両ネットワークとも低層から高層へと進むに従い、特徴活性化のスパarsityが増加するが、VGGNetは高層部で顕著に高いスパarsityを示しており、非関連特徴のフィルタリング能力が優れていることが示された。
• 物体が頻繁に共起する場合（例：マウスとトラップ）、VGGNetの内部表現はその文脈的手がかりを保持できており、正しい予測に繋がっている。
• 比較結果から、深層アーキテクチャは識別的視覚的構造の抽出と強調をより効果的に行うことができ、これが分類精度の向上に直接寄与していることが確認された。