[論文レビュー] 3DP3: 3D Scene Perception via Probabilistic Programming

Nishad Gothoskar, Marco Cusumano-Towner+7 more|arXiv (Cornell University)|Oct 30, 2021

Robot Manipulation and Learning参考文献 40被引用数 5

ひとこと要約

3DP3は、RGB-D画像から3次元オブジェクト形状、ポーズ、階層的シーングラフを統合的に推論する確率的プログラミングフレームワークを導入する。構造的生成モデルを用い、自己遮蔽、接触、部分観測の下でも優れた6DoFオブジェクトポーズ推定精度と頑健な一般化性能を達成しており、ボトムアップなポーズ提案、シーングラフ構造のためのインボリュートMCMC、不確実な形状に対する擬似周辺化推論を組み合わせることで、ディープラーニングベースラインを上回る性能を発揮する。

ABSTRACT

We present 3DP3, a framework for inverse graphics that uses inference in a structured generative model of objects, scenes, and images. 3DP3 uses (i) voxel models to represent the 3D shape of objects, (ii) hierarchical scene graphs to decompose scenes into objects and the contacts between them, and (iii) depth image likelihoods based on real-time graphics. Given an observed RGB-D image, 3DP3's inference algorithm infers the underlying latent 3D scene, including the object poses and a parsimonious joint parametrization of these poses, using fast bottom-up pose proposals, novel involutive MCMC updates of the scene graph structure, and, optionally, neural object detectors and pose estimators. We show that 3DP3 enables scene understanding that is aware of 3D shape, occlusion, and contact structure. Our results demonstrate that 3DP3 is more accurate at 6DoF object pose estimation from real images than deep learning baselines and shows better generalization to challenging scenes with novel viewpoints, contact, and partial observability.

研究の動機と目的

• 部分観測、遮蔽、複雑なオブジェクト相互作用の下でも頑健な3次元シーン理解を可能にする生成モデルの開発。
• 剛体的構造的仮定を必要とせず、オブジェクトの接触とポーズ依存関係を捉える階層的シーングラフを用いた3次元シーンのモデリング。
• ディープラーニングベースラインを上回る、実世界および合成シーンにおける6DoFオブジェクトポーズ推定精度の向上。
• 統一された確率的フレームワークを介して、モデルベース推論とデータ駆動型検出器・ポーズ推定器の統合。
• ベイズフレームワークにおける構造的および幾何的事前知識を活用して、完全に遮蔽されたオブジェクトの推論を可能にする。

提案手法

• 自己遮蔽による不確実性を伴う3次元オブジェクト形状をボクセルベースの確率的モデルで表現する。
• 柔軟な構造的事前知識を備えた階層的シーングラフを用い、オブジェクト関係、特に平面接触をモデル化する。
• 3次元シーン仮説から観測されたRGB-D画像をシミュレートするため、リアルタイムグラフィックスベースの深度画像尤度を適用する。
• 推論中にシーングラフ構造を効率的に探索するための新規なインボリュートMCMCカーネルを実装する。
• オブジェクトポーズ更新のためのデータ駆動型メトロポリス・ハスティングスカーネルと、不確実なオブジェクト形状に対する擬似周辺化推論を組み合わせる。
• 事前学習済みのニューラル検出器およびポーズ推定器を生成モデル内の尤度成分として統合する。

実験結果

リサーチクエスチョン

• RQ1 階層的シーングラフを有する構造的生成モデルは、遮蔽および接触の下でも3次元シーン理解を向上させ得るか？
• RQ2 モデルベース事前知識とデータ駆動型検出器を組み合わせることで、6DoFポーズ推定の頑健性はどのように向上するか？
• RQ3 生成的3次元シーンモデルにおける確率的推論は、完全に遮蔽されたオブジェクトの存在とポーズを推定可能か？
• RQ4 シーングラフ構造推論にインボリュートMCMCを用いることで、サンプリング効率と精度が向上するか？
• RQ5 3DP3は、ディープラーニングベースラインと比較して、新規な視点や挑戦的な実世界シーンへの一般化性能はどの程度向上するか？

主な発見

• 3DP3は、実世界および合成シーンにおける6DoFオブジェクトポーズ推定精度がディープラーニングベースラインを上回っており、特に部分観測や遮蔽の下でも顕著な優位性を示す。
• 本フレームワークは、トレーニング時に見られなかった新規な視点や複雑な接触構成に対しても、優れた一般化性能を示す。
• インボリュートMCMCを用いた推論により、シーングラフ構造の探索が効率的に行われ、サンプリング効率と構造的一致性が向上する。
• 確率的フレームワーク内にニューラル検出器およびポーズ推定器を統合することで、共通の幾何的制約を介して誤りを是正する。
• 3DP3は、構造的事前知識とシーン全体の整合性を活用することで、完全に遮蔽されたオブジェクトのポーズを成功裏に推定する。
• 擬似周辺化推論アプローチは、オブジェクト形状の不確実性を効果的に扱い、自己遮蔽や不完全データに対する頑健性を向上させる。