[論文レビュー] BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown Objects

Bowen Wen, Jonathan Tremblay+7 more|arXiv (Cornell University)|Mar 24, 2023

Human Pose and Action Recognition被引用数 5

ひとこと要約

BundleSDF は、最初のフレームでの2Dマスクのみを必要とし、モノクローラルRGBD動画からの未知の剛体物体の6-DoF同時追跡とニューラル3D再構築をほぼリアルタイム（10Hz）で実現する手法を提示する。動的メモリプールを用いたポーズグラフ最適化とニューラルオブジェクトフィールドの共同学習により、テクスチャの欠落、鏡面反射、重度の遮蔽がある物体に対しても、最小限の事前仮定で頑健な性能を発揮する。

ABSTRACT

We present a near real-time method for 6-DoF tracking of an unknown object from a monocular RGBD video sequence, while simultaneously performing neural 3D reconstruction of the object. Our method works for arbitrary rigid objects, even when visual texture is largely absent. The object is assumed to be segmented in the first frame only. No additional information is required, and no assumption is made about the interaction agent. Key to our method is a Neural Object Field that is learned concurrently with a pose graph optimization process in order to robustly accumulate information into a consistent 3D representation capturing both geometry and appearance. A dynamic pool of posed memory frames is automatically maintained to facilitate communication between these threads. Our approach handles challenging sequences with large pose changes, partial and full occlusion, untextured surfaces, and specular highlights. We show results on HO3D, YCBInEOAT, and BEHAVE datasets, demonstrating that our method significantly outperforms existing approaches. Project page: https://bundlesdf.github.io

研究の動機と目的

• 事前3Dモデルやカテゴリーレベルの教師情報が一切ない未知の剛体物体に対して、6-DoFオブジェクト追跡と3D再構築の課題に取り組む。
• テクスチャ付きCADモデルやカテゴリーレベルの事前学習、既知のカメラポーズを必要とする従来手法の制限を克服する。
• 重度の遮蔽、テクスチャの欠落、鏡面反射、大きなポーズ変化の下でも頑健な性能を発揮することを実現する。
• 最小限の初期化で、因果的かつオンラインな方法で正確な追跡と高精細な3D再構築を同時に達成する。
• ニューラル再構築とポーズ最適化を統合した共同設計フレームワークを構築し、追跡のずれを低減し、一貫性を向上させる。

提案手法

• 符号距離関数（SDF）とニューラルレンダリングを用いたニューラルオブジェクトフィールドを活用し、物体の3D形状と外観を暗黙的に表現する。
• 配置済みフレームの動的メモリプールを統合することで、ポーズグラフ最適化とニューラル再構築プロセスの間で双方向通信を可能にする。
• ノイズの多いセグメンテーションや外部の遮蔽による不確実なフリー空間をモデル化するためのハイブリッドSDF表現を採用する。
• 履歴的な追跡ポーズを動的に補正するオンラインポーズグラフ最適化を実行し、マルチビューの一貫性を維持し、ずれを低減する。
• 追跡と再構築をリアルタイムで共同で学習する共同設計アーキテクチャを採用し、ニューラルフィールドがポーズ推定に幾何的監視を提供する。
• 因果推論戦略を適用し、追跡と再構築に過去の観測のみを用いることで、リアルタイムデプロイメントを可能にする。

Figure 2 : Framework overview. First, features are matched between consecutive segmented images, to obtain a coarse pose estimate (Sec. 3.1 ). Some of these posed frames are stored in a memory pool, to be used and refined later (Sec. 3.2 ). A pose graph is dynamically created from a subset of the me

実験結果

リサーチクエスチョン

• RQ1 事前3Dモデルやカテゴリーレベルの事前知識が一切ない未知の剛体物体に対して、ニューラル3D再構築システムが正確な6-DoF追跡を達成できるか？
• RQ2 大規模な動き、遮蔽、低テクスチャ表面を伴うモノクローラルRGBDシーケンスにおいて、追跡のずれを効果的に緩和できるか？
• RQ3 ノイズや不完全な観測（誤ったセグメンテーションマスクなど）に対して、ニューラル暗黙表現がどれほど頑健に機能するか？
• RQ4 ポーズグラフとニューラルフィールド学習の共同最適化フレームワークは、分離型または単一段階のアプローチに比べ、追跡精度と再構築品質の両面で優れているか？
• RQ5 本手法は、多様なオブジェクトカテゴリ、相互作用エージェント、鏡面反射や部分的遮蔽を含む困難な視覚的条件下でも、どれほど一般化性能を発揮するか？

主な発見

• BundleSDF は、HO3D、YCBInEOAT、BEHAVE データセットにおいて最先端の性能を達成し、BEHAVE データセットでは平均ADD-Sスコアが83.63%を記録し、従来手法を顕著に上回った。
• BEHAVE データセットでは、平均CD（チェンファーディスタンス）が4.66 cmにまで低下し、次に優れた手法（19.27 cm）を著しく下回り、優れた3D再構築品質を示した。
• 定量的結果において、重度の遮蔽に対しても頑健であることが示された。特に『Date03_Sub05_chairblack_hand.3』の例では、物体が完全に遮蔽されても正確な追跡を維持した。
• ノイズの多いセグメンテーションマスクの状況でも、BundleSDF は正確な追跡と再構築を維持しており、誤検出や見逃しの影響に強く、可視化結果でもその耐性が裏付けられた。
• 高速移動やブレの大きい状況では、しばしば真値よりもより正確なポーズ推定が得られることがあり、高い追跡精度を示した。
• ハイブリッドSDF表現は、遮蔽やセグメンテーションエラーに起因するフリー空間の不確実性を効果的に処理し、安定的かつ一貫性のある3D再構築に貢献した。

Figure 3 : Left: Octree-voxel representation for efficient ray tracing, using the predicted binary mask from the video segmentation network (Sec. 3.1 ), which contains errors. Rays can land inside the mask (shown as red) or outside (yellow). Right: 2D top-down illustration of the neural volume and p