[論文レビュー] 3D ShapeNets for 2.5D Object Recognition and Next-Best-View Prediction

Zhirong Wu, Shuran Song+3 more|arXiv (Cornell University)|Jun 22, 2014

Advanced Vision and Imaging参考文献 21被引用数 93

ひとこと要約

本論文では、3次元ボクセルグリッド上の確率分布として3次元形状を表現する畳み込み型ディープベルーズネット（CDBN）を用いた3次元ShapeNetモデルを提案する。この手法により、2.5次元の物体認識とインテリジェントな次なる最良の視点予測が可能となり、大規模な3次元グラフィクスデータセットで学習された形状表現を通じて、認識精度の向上と不確実性の低減が達成される。

ABSTRACT

3D shape is a crucial but heavily underutilized cue in object recognition, mostly due to the lack of a good generic shape representation. With the recent boost of inexpensive 2.5D depth sensors (e.g. Microsoft Kinect), it is even more urgent to have a useful 3D shape model in an object recognition pipeline. Furthermore, when the recognition has low confidence, it is important to have a fail-safe mode for object recognition systems to intelligently choose the best view to obtain extra observation from another viewpoint, in order to reduce the uncertainty as much as possible. To this end, we propose to represent a geometric 3D shape as a probabil-ity distribution of binary variables on a 3D voxel grid, using a Convolutional Deep Belief Network. Our model naturally supports object recognition from 2.5D depth map and also view planning for object recognition. We construct a large-scale 3D computer graphics dataset to train our model, and conduct extensive experiments to study this new representation. 1

研究の動機と目的

• 物体認識に適した幾何的構造を効果的に捉える汎用的な3次元形状表現の開発。
• 低信頼度の物体認識の課題に対処するため、不確実性を低減するインテリジェントな次なる最良の視点選択を可能にする。
• Microsoft Kinectなどのセンサから得られる2.5次元の深度データを活用し、実用的でリアルタイムな認識応用を実現する。
• 認識と能動的認知の両方をサポートするスケーラブルで学習可能な形状表現の構築。
• 大規模な3次元コンピューターグラフィックスデータセットを用いてモデルを学習・評価し、堅牢な性能を実現する。

提案手法

• 3次元形状を3次元ボクセルグリッド上のバイナリ変数の確率分布として表現し、幾何的構造を符号化する。
• ボクセルベースの形状表現から階層的で生成的な特徴を学習するため、畳み込み型ディープベルーズネット（CDBN）を用いる。
• 形状の事前分布を捉え、認識性能を向上させるために、大規模な3次元グラフィクスデータセット上でCDBNをエンドツーエンドで学習する。
• 深度マップをネットワークの入力として処理することで、学習済みモデルを2.5次元の物体認識に適応する。
• 不確実性推定を認識パイプラインに統合し、次なる最良の視点計画を支援する。
• モデルの不確実性に基づいて期待情報量を最大化するように、次なる最良の視点を選択する。

実験結果

リサーチクエスチョン

• RQ1 ボクセルベースのバイナリ確率分布を用いた深層生成モデルは、3次元形状を効果的に表現できるか？
• RQ2 提案された3次元ShapeNetモデルは、従来手法と比較して2.5次元の物体認識でどの程度の性能を発揮するか？
• RQ3 インテリジェントな次なる最良の視点選択によって、認識の不確実性はどの程度低減できるか？
• RQ4 学習された形状表現は、多様な3次元物体カテゴリにわたってどの程度スケーラブルかつ一般化可能か？
• RQ5 3次元形状表現は能動的認知と不確実性低減にどのような影響を与えるか？

主な発見

• 提案された3次元ShapeNetモデルは、従来の形状記述子を用いたベースライン手法と比較して、2.5次元の深度マップにおける認識精度が向上している。
• 学習済みの不確実性推定に基づいて情報量の多い次なる最良の視点を選択することで、物体認識における不確実性が効果的に低減されている。
• 生成的深層信念ネットワークの使用により、手動での特徴設計を伴わずに、生のボクセル表現から堅牢な特徴学習が可能になっている。
• 学習に使用された大規模な3次元グラフィクスデータセットは、多様な物体カテゴリにわたる一般化を支援している。
• 視点計画による能動的認知の統合は、信頼度が低い状況でも認識の信頼性を顕著に向上させている。
• 統一された3次元形状表現を用いて、認識と視点計画の両タスクで優れた性能を示している。