[論文レビュー] Understanding deep features with computer-generated imagery

Mathieu Aubry, Bryan Russell|arXiv (Cornell University)|Jun 3, 2015

3D Surveying and Cultural Heritage被引用数 34

ひとこと要約

本論文は、3次元CADモデルから制御されたコンピュータ生成画像（CGI）を生成することで、畳み込みニューラルネットワーク（CNN）が視点、スタイル、色といった連続的シーン要因をどのように表現するかを分析する手法を提案する。要因を体系的に変化させ、因子分解および主成分分析（PCA）を用いてCNNの特徴応答を分析することで、AlexNet、VGG、Placesなどの異なるネットワークと層において、各要因の相対的重要性を定量化した。その結果、高層層では視点への感受性が低下する一方で、色はPlaces CNNにおいてAlexNet や VGG よりもより顕著な役割を果たしていることが明らかになった。

ABSTRACT

We introduce an approach for analyzing the variation of features generated by convolutional neural networks (CNNs) with respect to scene factors that occur in natural images. Such factors may include object style, 3D viewpoint, color, and scene lighting configuration. Our approach analyzes CNN feature responses corresponding to different scene factors by controlling for them via rendering using a large database of 3D CAD models. The rendered images are presented to a trained CNN and responses for different layers are studied with respect to the input scene factors. We perform a decomposition of the responses based on knowledge of the input scene factors and analyze the resulting components. In particular, we quantify their relative importance in the CNN responses and visualize them using principal component analysis. We show qualitative and quantitative results of our study on three CNNs trained on large image datasets: AlexNet, Places, and Oxford VGG. We observe important differences across the networks and CNN layers for different scene factors and object categories. Finally, we demonstrate that our analysis based on computer-generated imagery translates to the network representation of natural images.

研究の動機と目的

• 3次元視点、オブジェクトスタイル、色、照明設定といった連続的シーン要因が、深層CNNにどのようにエンコードされるかを理解すること。
• 自然画像データにおけるCNN特徴に及ぼす個々のシーン要因の影響を分離・測定する課題に対処すること。
• シーン要因を正確に制御できるコンピュータ生成画像を用いて、その影響を体系的に分析するフレームワークを構築すること。
• 異なるCNNアーキテクチャ（AlexNet、VGG、Places）および層間で特徴の感受性を比較し、表現におけるアーキテクチャ的および階層的差異を明らかにすること。
• CGIベースの分析から得られる知見が、実際の自然画像へも意味的に一般化されることを示し、2D-3Dリtrieval やスタイル/ポーズマッチングといった応用に役立つこと。

提案手法

• ModelNetなどの大規模な3次元CADモデルデータベースを活用し、シーン要因の変動を制御した合成画像をレンダリングする。
• レンダリング中に1つ以上の要因（視点、スタイル、色、照明）を変化させながら、他の要因を固定する。
• 事前に訓練されたCNN（AlexNet、VGG、Places）にレンダリング画像を入力し、複数の層からの特徴応答を抽出する。
• 既知の入力要因に基づいて特徴応答の因子分解を実行し、全分散に占める各要因の寄与度を定量化する。
• 主成分分析（PCA）を用いて分解された成分を可視化し、特徴表現の構造を解釈する。
• 自然画像の特徴（ImageNet や ETH-80 からのもの）を、CGIから発見された要因空間に投影することで、知見の一般化可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 3次元視点、オブジェクトスタイル、色といった異なるシーン要因が、CNN特徴マップの表現にどの程度寄与しているか。
• RQ2 CNN特徴がこれらの要因に対して示す感受性が、異なるネットワークアーキテクチャ（例：AlexNet、VGG、Places）および層によってどのように変化するか。
• RQ3 CGIから学習された特徴表現が、実際の自然画像へどの程度一般化されるか。
• RQ4 CNN特徴を要因固有の成分に分解することで、層ごとの階層的不変性や感受性のパターンを明らかにできるか。
• RQ5 CGIベースの分析が、自然画像における2D-3Dオブジェクトリtrieval やスタイル/ポーズマッチングといった下流タスクにどの程度有効に応用できるか。

主な発見

• 高層層の特徴は、視点やスタイルといった個々の要因への応答の線形結合でよく近似可能であり、分離表現（disentangled representation）であることが示された。
• 視点への感受性は、初期層から最終層へと段階的に低下し、VGGのfc7層ではAlexNet や Places よりも視点への感受性が低いことが判明した。
• 色は、Places CNNにおいて背景で51.5%、前面で40.7%の分散を説明しており、AlexNet や VGG よりも顕著に寄与している。特に高層層で顕著である。
• スタイルによる分散説明割合は、VGGで最高の71.4%、Placesで最低の24.2%であり、アーキテクチャによるスタイル表現の違いが明らかになった。
• CGIと自然画像（例：ImageNet、ETH-80）からのCNN特徴のPCA埋め込みは、強い定性的類似性を示しており、CGIベース分析の一般化可能性が裏付けられた。
• pool5特徴を用いた2D-3Dリtrievalでは、自然画像で20度以内の方向性認識精度が60%に達し、ユーザー研究でもスタイルマッチングで75%の一致を示した。これにより、本手法の実用的妥当性が検証された。