[論文レビュー] Discovering Internal Representations from Object-CNNs Using Population Encoding

Jianyu Wang, Zhishuai Zhang+2 more|arXiv (Cornell University)|Nov 21, 2015

Advanced Neural Network Applications被引用数 8

ひとこと要約

本論文では、複数の層にわたるオブジェクト-CNNの内部表現から分散型の中位レベルのオブジェクト部品の意味を抽出する、クラスタリングに基づく手法であるポピュレーションエンコーディングを提案する。単一のフィルターよりもニューロンの応答パターンを分析することで、PASCAL3D+データセット（キーポイントアノテーション付き）における実証により、単一フィルターディテクターよりも優れたオブジェクト部品検出性能を達成する。

ABSTRACT

In this paper, we provide a method for understanding the internal representations of Convolutional Neural Networks (CNNs) trained on objects. We hypothesize that the information is distributed across multiple neuronal responses and propose a simple clustering technique to extract this information, which we call \emph{population encoding}. The population encoding technique looks into the entrails of an object-CNN at multiple layers of the network and shows the implicit presence of mid-level object part semantics distributed in the neuronal responses. Our qualitative visualizations show that population encoding can extract mid-level image patches that are visually tighter than the patches that produce high single-filter activations. Moreover, our comprehensive quantitative experiments using the object key point annotations from the PASCAL3D+ dataset corroborate the visualizations by demonstrating the superiority of population encoding over single-filter detectors, in the task of object-part detection. We also perform some preliminary experiments where we uncover the compositional relations between the adjacent layers using the parts detected by population encoding clusters. Finally, based on the insights gained from this work, we point to various new directions which will enable us to have a better understanding of the CNN's internal representations.

研究の動機と目的

• オブジェクト-CNNの内部表現が中位レベルのオブジェクト部品の意味をどのようにエンコードしているかを理解すること。
• 個々のフィルターの活性化に依存する手法の限界を解決すること。これは、ニューロン全体にわたる分散情報の捉え損ないを示している。
• 集団的なニューロン応答から意味的で視覚的にタイトなオブジェクト部品パッチを抽出する手法を開発すること。
• キーポイントアノテーションデータを用いて、ポピュレーションエンコーディングの有効性を定量的に評価すること。
• 検出された部品を用いて、隣接するネットワーク層間の構成的関係を調査すること。

提案手法

• ポピュレーションエンコーディングは、トレーニング済みのオブジェクト-CNNにおける複数のフィルターおよび層にわたるニューロン応答をクラスタリングし、オブジェクト部品の分散表現を特定する。
• 本手法は、個々の高活性化フィルターに依存するのではなく、一貫したフィルター群の活性化を示す画像パッチを同定する。
• 特徴マップをネットワークのさまざまな深さでクラスタリングすることで、顕著で意味的かつ明確な領域を抽出する。
• 本手法は、PASCAL3D+データセットのキーポイントアノテーションを活用して、検出性能を定量的に評価する。
• ポピュレーションエンコーディングで検出された部品が連続する層を通過する様子を分析することで、層間の構成的関係を検討する。
• 視覚化により、ポピュレーションエンコーディングで検出されたパッチと単一フィルター活性化によるパッチの空間的タイトさと意味的関連性を比較する。

実験結果

リサーチクエスチョン

• RQ1 複数のフィルターおよび層にわたる分散ニューロン応答は、オブジェクト-CNNにおいて中位レベルのオブジェクト部品の意味をエンコードできるか？
• RQ2 空間的精度がより高いポピュレーションエンコーディングと単一フィルター活性化との間で、オブジェクト部品検出においてどの程度の差が生じるか？
• RQ3 PASCAL3D+データセットにおける人間がアノテートしたキーポイント位置と、ポピュレーションエンコーディングで検出された部品がどの程度一致するか？
• RQ4 隣接するネットワーク層間で検出されたオブジェクト部品間にどのような構成的関係が存在するか？
• RQ5 ポピュレーションエンコーディングは、CNNの内部表現における階層的または構造的関係を明らかにできるか？

主な発見

• ポピュレーションエンコーディングは、単一フィルター活性化によるものよりも視覚的にタイトで意味的整合性の高い中位レベルのオブジェクト部品パッチを効果的に抽出できた。
• PASCAL3D+データセットにおける定量的評価により、ポピュレーションエンコーディングは単一フィルターディテクターよりもオブジェクト部品検出の正確性が優れていることが示された。
• ポピュレーションエンコーディングで検出された部品は、人間がアノテートしたキーポイント位置と強く一致しており、意味的関連性が確認された。
• 本手法は、隣接層間の構成的関係を明らかにした。これは、深い層において部品が階層的に構造化されている可能性を示唆している。
• 視覚化により、個々のフィルター応答よりも、ニューロン全体の分散応答がより豊かで構造的な意味情報をエンコードしていることが示された。