[論文レビュー] Neural Object Descriptors for Multi-View Shape Reconstruction

Edgar Sucar, Kentaro Wada+1 more|arXiv (Cornell University)|Apr 9, 2020

Robotics and Sensor-Based Localization参考文献 41被引用数 9

ひとこと要約

本論文は、1枚または複数枚のRGB-D画像からのエンドツーエンドで微分可能な3次元形状再構築を可能にする、微分可能で確率的なレンダリングエンジンと統合された学習可能で多クラス対応のニューラルオブジェクト記述子を提案する。このフレームワークは、オブジェクトの形状、ポーズ、カメラの軌道を同時に最適化でき、ロボットの把持、拡張現実、および完全に微分可能なオブジェクトレベルのSLAMシステムを含む応用分野における高精度な3次元再構築を実現する。

ABSTRACT

The choice of scene representation is crucial in both the shape inference algorithms it requires and the smart applications it enables. We present efficient and optimisable multi-class learned object descriptors together with a novel probabilistic and differential rendering engine, for principled full object shape inference from one or more RGB-D images. Our framework allows for accurate and robust 3D object reconstruction which enables multiple applications including robot grasping and placing, augmented reality, and the first object-level SLAM system capable of optimising object poses and shapes jointly with camera trajectory.

研究の動機と目的

• RGB-D画像からのロバストで正確な3次元オブジェクト形状再構築の課題に、学習可能で多クラス対応の表現を用いて対処すること。
• オブジェクトの形状とカメラの軌道のエンドツーエンド最適化を可能にする、微分可能で確率的なレンダリングエンジンの開発。
• オブジェクトのポーズ、形状、カメラ軌道の同時最適化を可能にし、整合的な3次元再構築を促進すること。
• ロボットの把持、拡張現実、オブジェクトレベルのSLAMといった実用的応用を支援すること。
• 深層学習と微分可能レンダリングを用いた、スケーラブルで効率的なマルチビュー3次元再構築フレームワークの提供。

提案手法

• フレームワークは、多様なオブジェクト形状を効率的に表現できる多クラス対応のニューラルオブジェクト記述子を採用する。
• 新規の微分可能で確率的なレンダリングエンジンが、3次元オブジェクトの仮説からRGB-D観測をシミュレートし、勾配ベースの最適化を可能にする。
• レンダリングプロセスを逆伝播することでエンドツーエンド最適化を実行し、オブジェクトの形状、ポーズ、カメラの軌道を精緻に改善する。
• オブジェクト記述子を複数のクラス間で共有することで、複数のオブジェクトカテゴリにわたる一般化と効率的な推論が可能になる。
• 単一視点およびマルチビュー入力をサポートし、視点間の幾何的整合性を活用して再構築精度を向上させる。
• 微分可能レンダリングエンジンは観測の不確実性をモデル化し、3次元形状の整合的な確率的推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習可能なニューラルオブジェクト記述子は、RGB-D画像からの正確で一般化可能な3次元形状再構築を可能にするか？
• RQ2 微分可能で確率的なレンダリングエンジンは、オブジェクトの形状とカメラの軌道のエンドツーエンド最適化を支援できるか？
• RQ3 オブジェクトの形状、ポーズ、カメラ軌道の同時最適化は、逐次的または独立した最適化と比較して3次元再構築精度を向上させるか？
• RQ4 このフレームワークは、ロボットの把持や拡張現実といった実世界の応用をサポートできるか？
• RQ5 オブジェクト幾何とシーン構造を同時に最適化できるオブジェクトレベルのSLAMシステムを構築することは可能か？

主な発見

• 微分可能で確率的なレンダリングを用いることで、1枚以上のRGB-D画像から正確な3次元再構築が可能になる。
• オブジェクトの形状、ポーズ、カメラ軌道の同時最適化は、独立した最適化と比較してより一貫性があり正確な再構築を実現する。
• 本システムは、オブジェクト幾何とシーン構造のエンドツーエンド微分可能な最適化が可能な、最初のオブジェクトレベルのSLAMシステムを実現する。
• 学習されたオブジェクト記述子はクラス間で一般化可能であり、共有表現を用いた多クラス3次元再構築を可能にする。
• 高精度な3次元形状推定のため、ロボットの把持や拡張現実といった実用的応用が可能になる。
• 微分可能レンダリングエンジンは不確実性を考慮した推論をサポートし、ノイズや不完全な観測に対しても耐性を高める。