[논문 리뷰] BundleFusion: Real-time Globally Consistent 3D Reconstruction using On-the-fly Surface Re-integration

Angela Dai, Matthias Nießner외 3명|arXiv (Cornell University)|2016. 04. 05.

Robotics and Sensor-Based Localization참고 문헌 55인용 수 91

한 줄 요약

BundleFusion는 계층적 희소-밀도 최적화 전략을 사용하여 실시간으로 카메라 자세를 지속적으로 최적화함으로써 전역적으로 일관되고 고품질의 스캔을 달성하는 실시간 엔드 투 엔드 3D 재구성 프레임워크를 제안한다. 이는 실시간 백업 조정, 추적 실패 후 강건한 재정렬, 실시간 표면 재통합을 가능하게 하여 오프라인 재구성 품질에 도달하면서도 상호작용 속도로 대규모 실내 스캐닝을 지원한다.

ABSTRACT

Real-time, high-quality, 3D scanning of large-scale scenes is key to mixed reality and robotic applications. However, scalability brings challenges of drift in pose estimation, introducing significant errors in the accumulated model. Approaches often require hours of offline processing to globally correct model errors. Recent online methods demonstrate compelling results, but suffer from: (1) needing minutes to perform online correction preventing true real-time use; (2) brittle frame-to-frame (or frame-to-model) pose estimation resulting in many tracking failures; or (3) supporting only unstructured point-based representations, which limit scan quality and applicability. We systematically address these issues with a novel, real-time, end-to-end reconstruction framework. At its core is a robust pose estimation strategy, optimizing per frame for a global set of camera poses by considering the complete history of RGB-D input with an efficient hierarchical approach. We remove the heavy reliance on temporal tracking, and continually localize to the globally optimized frames instead. We contribute a parallelizable optimization framework, which employs correspondences based on sparse features and dense geometric and photometric matching. Our approach estimates globally optimized (i.e., bundle adjusted) poses in real-time, supports robust tracking with recovery from gross tracking failures (i.e., relocalization), and re-estimates the 3D model in real-time to ensure global consistency; all within a single framework. Our approach outperforms state-of-the-art online systems with quality on par to offline methods, but with unprecedented speed and scan completeness. Our framework leads to a comprehensive online scanning solution for large indoor environments, enabling ease of use and high-quality results.

연구 동기 및 목표

• 대규모 실내 환경에서 실시간으로 전역적으로 일관된 3D 재구성을 달성하고자 한다.
• 온라인 RGB-D 스캐닝 시스템에서 흔히 발생하는 자세 이탈과 추적 실패 문제를 해결하고자 한다.
• 실시간 성능과 완전성을 확보하면서도 고품질의 밀도 있는 부피 재구성을 가능하게 하고자 한다.
• 오프라인 처리나 명시적 루프 클로징 탐지가 필요 없도록 전역 일관성을 암묵적으로 해결함으로써 이를 실현하고자 한다.
• 스캐닝 중에 강건한 재정렬과 지속적인 모델 개선을 지원하고자 한다.

제안 방법

• 희소 SIFT 특징과 밀도 있는 기하학적/광학적 대응 관계를 결합한 계층적이고 병렬 처리 가능한 최적화 프레임워크를 활용한다.
• 로컬에서 글로벌 방식으로 전체 RGB-D 입력 이력을 고려하여 실시간으로 전역 최적화된 자세 추정을 수행한다.
• 먼저 희소 특징 매칭을 통해 거시적 전역 자세 추정을 수행한 후, 밀도 있는 매칭을 통해 정밀 조정 및 표면 재통합을 수행한다.
• 모델 일관성을 유지하기 위해 깊이 프레임을 트렁케이티드 사인 거리 필드(TSDF) 볼륨에 동적으로 통합 및 해제한다.
• 프레임 간 추적 대신 전역 자세 최적화에 의존함으로써 취약성을 줄이고 추적 실패 후 복구를 가능하게 한다.
• 소비자 GPU에서 실시간 성능을 유지를하기 위해 GPU 가속 SIFT 특징 검출 및 매칭을 활용한다.

실험 결과

연구 질문

• RQ1 오프라인 처리나 명시적 루프 클로징 탐지 없이도 실시간으로 전역적으로 일관된 3D 재구성을 달성할 수 있는가?
• RQ2 특징이 부족하거나 동적인 환경에서 온라인 스캐닝 중에 강건한 추적과 재정렬을 어떻게 달성할 수 있는가?
• RQ3 전역 일관성을 보장하면서도 실시간으로 밀도 있고 고품질의 3D 재구성을 유지할 수 있는가?
• RQ4 온라인 3D 재구성에서 속도, 정확도, 완전성 간의 성능 상충 관계는 어떻게 되는가?
• RQ5 희소 및 밀도 있는 매칭의 통합이 전역 정렬과 모델 품질을 어떻게 향상시키는가?

주요 결과

• ICL-NUIM 합성 데이터셋에서 BundleFusion는 평균 표면 재구성 오차 0.5cm, 0.6cm, 0.7cm, 0.8cm를 기록하며 최신 기술을 초월한다.
• 확장된 ICL-NUIM 데이터셋에서 BundleFusion는 ATE RMSE 0.6cm, 0.5cm, 15.3cm, 1.4cm를 기록했으며, 오피스 2에서는 단 1.4cm, 리빙 룸 2에서는 0.5cm를 기록했다.
• большин지 시퀀스에서 99% 이상의 프레임이 등록되었으며, 음영이나 무늬 부족으로 인한 1~115개의 프레임만 등록되지 않았다.
• SIFT 특징 검출은 프레임당 약 3.8ms(150개 특징) 소요되며, 매칭은 쌍당 약 0.04ms로 소비자 GPU에서 실시간 성능을 유지를한다.
• 모델 품질에 영향을 주지 않고도 어떤 시점에서든 재정렬이 가능하며, 중단 후에도 동일한 품질을 유지한다.
• Redwood와 같은 오프라인 방법과 비교해도 동일한 재구성 품질을 실시간으로 달성하며 전체 스캔 완전성을 확보한다.