[論文レビュー] BundleFusion: Real-time Globally Consistent 3D Reconstruction using On-the-fly Surface Re-integration

Angela Dai, Matthias Nießner+3 more|arXiv (Cornell University)|Apr 5, 2016

Robotics and Sensor-Based Localization参考文献 55被引用数 91

ひとこと要約

BundleFusionは、階層的でスパースからディンスな最適化戦略を用いることで、継続的なカメラポーズ最適化により、グローバルに一貫性のある高品質なスキャンを実現するリアルタイムでエンドツーエンドの3D再構築フレームワークを提示する。これは、リアルタイムのバンドル調整、トラッキング障害後のロバストな再位置特定、および即時の表面再統合を可能にし、オフライン再構築の品質に匹敵するが、インタラクティブレートで大規模な屋内スキャンをサポートする。

ABSTRACT

Real-time, high-quality, 3D scanning of large-scale scenes is key to mixed reality and robotic applications. However, scalability brings challenges of drift in pose estimation, introducing significant errors in the accumulated model. Approaches often require hours of offline processing to globally correct model errors. Recent online methods demonstrate compelling results, but suffer from: (1) needing minutes to perform online correction preventing true real-time use; (2) brittle frame-to-frame (or frame-to-model) pose estimation resulting in many tracking failures; or (3) supporting only unstructured point-based representations, which limit scan quality and applicability. We systematically address these issues with a novel, real-time, end-to-end reconstruction framework. At its core is a robust pose estimation strategy, optimizing per frame for a global set of camera poses by considering the complete history of RGB-D input with an efficient hierarchical approach. We remove the heavy reliance on temporal tracking, and continually localize to the globally optimized frames instead. We contribute a parallelizable optimization framework, which employs correspondences based on sparse features and dense geometric and photometric matching. Our approach estimates globally optimized (i.e., bundle adjusted) poses in real-time, supports robust tracking with recovery from gross tracking failures (i.e., relocalization), and re-estimates the 3D model in real-time to ensure global consistency; all within a single framework. Our approach outperforms state-of-the-art online systems with quality on par to offline methods, but with unprecedented speed and scan completeness. Our framework leads to a comprehensive online scanning solution for large indoor environments, enabling ease of use and high-quality results.

研究の動機と目的

• 大規模な屋内シーンにおけるリアルタイムでグローバルに一貫性のある3D再構築の課題に取り組むこと。
• オンラインRGB-Dスキャンシステムで一般的なポーズドリフトやトラッキング障害を克服すること。
• リアルタイム性能と完全性を確保しつつ、高品質で高密度なボリュメトリック再構築を実現すること。
• オフライン処理や明示的なループクロージャ検出を不要にすることで、暗黙的かつグローバルな一貫性を解消すること。
• スキャン中に継続的なモデル最適化とロバストな再位置特定を可能にすること。

提案手法

• スパースSIFT特徴点と高密度な幾何的・光度的対応を組み合わせた階層的かつ並列化可能な最適化フレームワークを採用する。
• ローカルからグローバルなアプローチで、RGB-D入力の履歴全体を考慮してリアルタイムでグローバル最適化されたポーズ推定を実行する。
• 粗いグローバルポーズ推定のためのスパース特徴マッチングに続いて、微調整および表面再統合のための高密度マッチングを実施する。
• トランケートド・サインド・ディスタンス・フィールド（TSDF）ボリュームへの動的統合およびデインテグレーションにより、モデルの一貫性を維持する。
• フレーム同士のトラッキングではなくグローバルポーズ最適化に依存することで、破綻しにくく、トラッキング障害からの回復を可能にする。
• リアルタイム性能を維持するため、GPUアクセceleratedなSIFT特徴抽出とマッチングを採用する。

実験結果

リサーチクエスチョン

• RQ1 オフライン処理や明示的なループクロージャ検出なしに、リアルタイムでグローバルに一貫性のある3D再構築を達成できるか？
• RQ2 特徴が乏しいか動的な環境において、オンラインスキャン中にロバストなトラッキングと再位置特定をどのように達成できるか？
• RQ3 グローバル一貫性を保証しつつ、リアルタイムで高品質な高密度3D再構築を維持できるか？
• RQ4 オンライン3D再構築における速度、正確性、完全性のトレードオフは何か？
• RQ5 スパースと高密度マッチングの統合が、グローバルアライメントとモデル品質をどのように向上させるか？

主な発見

• ICL-NUIMの合成データセットでは、BundleFusionは平均表面再構築誤差が0.5cm、0.6cm、0.7cm、0.8cmであり、最先端の手法を上回る性能を示した。
• 拡張されたICL-NUIMデータセットでは、ATE RMSEが0.6cm、0.5cm、15.3cm、1.4cmであり、オフィス2ではたった1.4cm、リビングルーム2では0.5cmであった。
• ほとんどのシーケンスで99％以上のフレームが登録されており、視認性の欠如やテクスチャの欠如による1～115フレームの未登録が生じた。
• SIFT特徴抽出は1フレームあたり約3.8ms（150特徴点）、マッチングは1ペアあたり約0.04msであり、これは一般消費者用GPUでもリアルタイム性能を達成可能である。
• フレームの中断後でも、任意の視点から再位置特定が可能であり、モデル品質の劣化がない。
• Redwoodのようなオフライン手法と同等の再構築品質を実現しているが、リアルタイムで完全なスキャンをサポートしている。