[論文レビュー] Multi-view Convolutional Neural Networks for 3D Shape Recognition

Hang Su, Subhransu Maji+2 more|arXiv (Cornell University)|May 5, 2015

3D Surveying and Cultural Heritage参考文献 30被引用数 279

ひとこと要約

この論文では、複数の2次元レンダリングを入力として扱うことで3次元形状を認識するマルチビュー畳み込みニューラルネットワーク（MVCNN）を提案する。3次元表現に基づく手法よりも優れた性能を達成する。複数のビューからの特徴をコンパクトな記述子に統合することで、MVCNNは3次元形状分類およびスケッチベースの検索において最先端の性能を達成し、単一のビューのみを用いた従来の3次元手法と比較して、85%の精度向上を達成している。

ABSTRACT

A longstanding question in computer vision concerns the representation of 3D shapes for recognition: should 3D shapes be represented with descriptors operating on their native 3D formats, such as voxel grid or polygon mesh, or can they be effectively represented with view-based descriptors? We address this question in the context of learning to recognize 3D shapes from a collection of their rendered views on 2D images. We first present a standard CNN architecture trained to recognize the shapes' rendered views independently of each other, and show that a 3D shape can be recognized even from a single view at an accuracy far higher than using state-of-the-art 3D shape descriptors. Recognition rates further increase when multiple views of the shapes are provided. In addition, we present a novel CNN architecture that combines information from multiple views of a 3D shape into a single and compact shape descriptor offering even better recognition performance. The same architecture can be applied to accurately recognize human hand-drawn sketches of shapes. We conclude that a collection of 2D views can be highly informative for 3D shape recognition and is amenable to emerging CNN architectures and their derivatives.

研究の動機と目的

• 2次元画像ベースの表現が、3次元形状認識において直接的な3次元表現学習を上回る可能性があるかどうかを調査すること。
• 複数の2次元ビューを1つのコンパクトで判別力のある記述子に効果的に統合する深層学習アーキテクチャを開発すること。
• 学習された2次元表現を活用して、手書きスケッチを用いた正確な3次元形状検索を可能にすること。
• ImageNetで事前学習されたCNNを用いることで、3次元形状認識タスクにおける一般化性能を向上させられるかどうかを検討すること。

提案手法

• 本手法は2段階のCNNアーキテクチャを採用する：まず、各2次元ビューを個別に処理してビュー固有の特徴を抽出する。
• 次に、複数のビューからの特徴をビュー間でプーリングし、2番目のCNNに供給してコンパクトで統一された形状記述子を生成する。
• ネットワークは3次元形状のカテゴリ分類を目的関数として交差エントロピー損失を用いて学習し、トレーニング中にビューのジャイタリングによるデータ拡張を実施する。
• 特徴初期化には事前学習済みImageNet重みを活用し、その後3次元形状データセット上でファインチューニングを行う。
• 勾配を逆伝播することでサリエンシー地図を生成し、最も情報量の多いビューおよび各ビュー内の判別的領域を特定する。
• スケッチベースの検索では、同じ記述子を用いてスケッチと3次元形状をマッチングするが、スケッチに対する追加のファインチューニングは行わない。

実験結果

リサーチクエスチョン

• RQ1 3次元形状の2次元画像ベースの表現が、直接的な3次元表現学習を上回る性能を示せるか？
• RQ2 複数の2次元投影からの情報をコンパクトで判別力のある形状記述子に統合するマルチビューCNNアーキテクチャは、どの程度効果的か？
• RQ3 学習された記述子は、手書きスケッチを用いた正確な3次元形状検索を可能にするか？
• RQ4 ビュー選択およびビューの多様性は、認識性能にどのような影響を与えるか？
• RQ5 ImageNetで事前学習されたCNNは、2次元レンダリングのみを用いて3次元形状認識タスクに有効にファインチューニング可能か？

主な発見

• 単一の2次元ビューのみを用いても、MVCNNはModelNet40でトップ1正解率85%を達成し、最も優れた従来の3次元表現ベース手法と比較して8%の向上を示した。
• 12のビューを用いることで、ModelNet40でトップ1正解率86.4%を達成し、従来の3次元CNNを著しく上回った。
• スケッチに対する追加のファインチューニングなしで、事前学習済みVGG-Mネットワークを用いてスケッチベース3次元形状検索でmAP 36.1%を達成した。
• サリエンシー地図は、最も情報量の多いビュー（例：ベンチの正面、浴槽のハンドル部）や判別的領域を特定した。
• スケッチ認識ベンチマークにおいて、標準的なジャイタリングベースのデータ拡張を上回る有効性を示し、3次元形状認識を超えた有効性が裏付けられた。
• 実世界の3次元オブジェクトや動画ベースの再構築に対しても良好な一般化性能を示し、合成メッシュにとどまらない幅広い応用可能性を示唆した。