[論文レビュー] 3D ShapeNets: A Deep Representation for Volumetric Shapes

Zhirong Wu, Shuran Song+5 more|arXiv (Cornell University)|Jun 22, 2014

Advanced Vision and Imaging参考文献 37被引用数 92

ひとこと要約

本稿では、3次元ボクセルグリッド上の確率分布として3次元ボリューム形状を表現する深層学習フレームワーク、3D ShapeNetsを提案する。この手法は、畳み込み型深層信念ネットワークを用いて、単一の2.5次元深度マップからの3次元物体認識と形状補完を統合的に可能にし、最先端の性能を達成するとともに、エントロピーに基づくビュー選択による能動的次善のビュー計画を可能にする。

ABSTRACT

3D shape is a crucial but heavily underutilized cue in today's computer vision systems, mostly due to the lack of a good generic shape representation. With the recent availability of inexpensive 2.5D depth sensors (e.g. Microsoft Kinect), it is becoming increasingly important to have a powerful 3D shape representation in the loop. Apart from category recognition, recovering full 3D shapes from view-based 2.5D depth maps is also a critical part of visual understanding. To this end, we propose to represent a geometric 3D shape as a probability distribution of binary variables on a 3D voxel grid, using a Convolutional Deep Belief Network. Our model, 3D ShapeNets, learns the distribution of complex 3D shapes across different object categories and arbitrary poses from raw CAD data, and discovers hierarchical compositional part representations automatically. It naturally supports joint object recognition and shape completion from 2.5D depth maps, and it enables active object recognition through view planning. To train our 3D deep learning model, we construct ModelNet -- a large-scale 3D CAD model dataset. Extensive experiments show that our 3D deep representation enables significant performance improvement over the-state-of-the-arts in a variety of tasks.

研究の動機と目的

• コンピュータビジョン分野において、特にKinectのようなセンサからの2.5次元深度データに対して、汎用的で強力な3次元形状表現が不足している問題に対処すること。
• 部分的な深度観測からの統合的3次元物体認識および完全な形状再構築を可能にすること。
• 不確実性に基づく次善のビュー計画を通じて、知的な能動的物体認識を支援すること。
• 3D ShapeNetsモデルの事前学習および評価のため、大規模な3次元CADデータセットModelNetを構築すること。
• 深層3次元表現が、3次元認識および補完タスクにおいて従来手法を著しく上回ることを実証すること。

提案手法

• 3次元畳み込み型深層信念ネットワーク（3D ShapeNets）を用いて、3次元形状をバイナリボクセルグリッド上の確率分布として表現する。
• オブジェクトのカテゴリーやポーズにわたる階層的・構成的部品表現を学習できるように、生のCADデータ上でエンドツーエンドにモデルを訓練する。
• 学習済み分布からのサンプリングを通じて、部分的な2.5次元深度マップから3次元形状の完全な補完を生成する生成モデルを活用する。
• エントロピーに基づく次善のビュー計画を実装：認識における不確実性を低減し、情報量を最大化するビューを選択する。
• 識別的微調整を通じて、生成モデルの3D ShapeNetsを実深度データの認識精度向上に適合させる。
• 3D ShapeNetsモデルの事前学習および評価のため、大規模な3次元CADモデルデータセットModelNetを構築する。

実験結果

リサーチクエスチョン

• RQ1 深層3次元表現は、単一のビュー深度マップからの3次元物体認識と形状補完を同時に向上させることができるか？
• RQ2 生成的3次元形状表現は、部分的観測の処理および形状補完にどの程度効果的か？
• RQ3 エントロピーに基づく不確実性推定は、能動的3次元物体認識のための効果的な次善のビュー計画を導けるか？
• RQ4 ModelNetのような大規模な3次元CADデータセットでの事前学習は、3次元認識タスクにおいて顕著な性能向上をもたらすか？
• RQ5 認識精度および形状補完品質の観点から、3D ShapeNetsは最先端の手法と比較してどの程度優れているか？

主な発見

• 判別的微調整後、3D ShapeNetsはNYUデータセットの12カテゴリーベンチマークで57.9%の精度を達成し、最先端手法と比較して10%以上の精度向上を示した。
• エントロピーに基づく次善のビュー戦略は、ランダム選択、最大可視性、最遠距離カメラ距離戦略を上回り、2つのビューでNYUデータセットで80%の認識精度を達成した。
• モデルは、トレーニング例を記憶するのではなく、多様なオブジェクトカテゴリにわたり妥当な3次元形状補完を生成することで、優れた一般化性能を示した。
• 微調整後、3D ShapeNetsは次善のビュー実験において『bathtub』カテゴリで85.7%、『bed』カテゴリで100%の精度を達成し、オブジェクトの多様性に対しても頑健であることが示された。
• 生成モデルは、ビューベースの2.5次元認識において『chair』カテゴリで68.5%の精度を達成し、ICPやRGBオンリーモデルなどのベースライン手法を上回った。
• 提案された3D ShapeNetsフレームワークは、認識と補完を統合的に可能にし、複数のビューを統合し、予測を反復的に改善する能力を有していた。