[논문 리뷰] InfiniTAM v3: A Framework for Large-Scale 3D Reconstruction with Loop Closure

Victor Adrian Prisacariu, Olaf Kähler외 5명|arXiv (Cornell University)|2017. 08. 02.

Robotics and Sensor-Based Localization참고 문헌 7인용 수 86

한 줄 요약

InfiniTAM v3는 해시 기반 보셀 해시를 사용하는 확장 가능한 3D 재구성 프레임워크, 강건한 추적, a random ferns relocaliser, 그리고 루프 클로저를 위한 전역적으로 일관된 서브맵 최적화를 제공합니다.

ABSTRACT

Volumetric models have become a popular representation for 3D scenes in recent years. One breakthrough leading to their popularity was KinectFusion, which focuses on 3D reconstruction using RGB-D sensors. However, monocular SLAM has since also been tackled with very similar approaches. Representing the reconstruction volumetrically as a TSDF leads to most of the simplicity and efficiency that can be achieved with GPU implementations of these systems. However, this representation is memory-intensive and limits applicability to small-scale reconstructions. Several avenues have been explored to overcome this. With the aim of summarizing them and providing for a fast, flexible 3D reconstruction pipeline, we propose a new, unifying framework called InfiniTAM. The idea is that steps like camera tracking, scene representation and integration of new data can easily be replaced and adapted to the user's needs. This report describes the technical implementation details of InfiniTAM v3, the third version of our InfiniTAM system. We have added various new features, as well as making numerous enhancements to the low-level code that significantly improve our camera tracking performance. The new features that we expect to be of most interest are (i) a robust camera tracking module; (ii) an implementation of Glocker et al.'s keyframe-based random ferns camera relocaliser; (iii) a novel approach to globally-consistent TSDF-based reconstruction, based on dividing the scene into rigid submaps and optimising the relative poses between them; and (iv) an implementation of Keller et al.'s surfel-based reconstruction approach.

연구 동기 및 목표

• 해시 기반 체적 표현을 통해 KinectFusion 스타일의 3D 재구성을 대규모 환경으로 확장한다.
• 카메라 추적 강건성을 향상시키고 추적 실패 시 relocalisation를 포함한다.
• 서브맵과 서브맵 간 제약을 통해 전역적으로 일관된 재구성을 가능하게 한다.
• 동일 프레임워크 내에서 surfel 기반 재구성을 선택적 대안으로 제공한다.

제안 방법

• 확장 가능한 3D 표현을 가능하게 하는 전역 보셀 블록 배열에 보셀 블록을 매핑하기 위해 해시 테이블을 사용한다.
• 모듈성 및 성능을 위해 추상, 장치-특정, 장치-비특정 계층을 갖는 교차 기기 엔진 아키텍처를 내장한다.
• 추적, 할당, 스와핑 인, 통합, 레이캐스팅, 스와핑 아웃의 여섯 단계 프레임당 처리를 구현한다.
• RGB-D 및 광측정 용어를 포함하여 ITMDepthTracker, ITMColorTracker, ITMExtendedTracker로 추적을 향상시킨다.
• 카메라 포즈 재로컬라이제이션과 루프 클로저 탐지를 위한 random ferns relocaliser를 포함한다.
• 서브맵 및 서브맵 간 제약 최적화를 통한 전역적으로 일관된 재구성을 제공한다(다중 엔진 파이프라인).

실험 결과

연구 질문

• RQ1 InfiniTAM은 voxel hashing를 사용하여 KinectFusion 스타일의 재구성을 대규모 장면으로 어떻게 확장할 수 있는가?
• RQ2 추적이 강건하고 추적 실패 시 relocalisation이 가능하게 하려면 어떻게 해야 하는가?
• RQ3 대규모 재구성에서 루프 클로저를 어떻게 탐지하고 전역적 일관성을 달성할 수 있는가?
• RQ4 하나의 프레임워크 내에서 TSDF 기반 표현과 surfel 기반 표현의 트레이드오프는 무엇인가?
• RQ5 CPU, GPU 및 기타 가속기 전역에서 성능을 최적화하기 위해 크로스-디바이스 아키텍처를 어떻게 구성할 수 있는가?

주요 결과

• 추적 실패 후 포즈를 복구하기 위해 강건한 추적 모듈이 개발되어 relocaliser와 통합되었습니다.
• 서브맵과 서브맵 간 제약에 기반한 전역적으로 일관된 재구성 접근법이 도입되었습니다.
• Surfel 기반 재구성은 InfiniTAM v3 내에서 TSDF에 대한 선택적 대안으로 구현되었습니다.
• 해시-table 기반 보셀 해싱은 대규모 장면으로 확장하면서 활성 맵을 스와핑을 통해 장치 메모리에 유지합니다.
• 랜덤 퍼니스 relocaliser가 구현되어 전역 일관성을 위한 relocalisation 및 루프 클로저 탐지를 가능하게 합니다.