[논문 리뷰] Real-time Scalable Dense Surfel Mapping

Kaixuan Wang, Fei Gao외 1명|arXiv (Cornell University)|2019. 09. 10.

Robotics and Sensor-Based Localization참고 문헌 23인용 수 4

한 줄 요약

이 논문은 슈퍼픽셀 기반의 서펠과 포즈 그래프 기반 융합을 사용하여 대규모 환경에서 전역 일관성을 확보하는 실시간, CPU 전용 밀도 높은 서펠 매핑 시스템을 제안한다. SLAM 포즈 그래프에 따라 서펠을 정렬함으로써, 모델 규모에 관계없이 O(1) 융합 시간을 유지하고 루프 클로징 보정을 위한 빠른 매핑 변형을 가능하게 하여 GPU 가속 없이도 RGB-D, 스테레오 또는 단안 깊이 입력으로부터 확장 가능하고 메모리 효율적인 재구성을 가능하게 한다.

ABSTRACT

In this paper, we propose a novel dense surfel mapping system that scales well in different environments with only CPU computation. Using a sparse SLAM system to estimate camera poses, the proposed mapping system can fuse intensity images and depth images into a globally consistent model. The system is carefully designed so that it can build from room-scale environments to urban-scale environments using depth images from RGB-D cameras, stereo cameras or even a monocular camera. First, superpixels extracted from both intensity and depth images are used to model surfels in the system. superpixel-based surfels make our method both run-time efficient and memory efficient. Second, surfels are further organized according to the pose graph of the SLAM system to achieve $O(1)$ fusion time regardless of the scale of reconstructed models. Third, a fast map deformation using the optimized pose graph enables the map to achieve global consistency in real-time. The proposed surfel mapping system is compared with other state-of-the-art methods on synthetic datasets. The performances of urban-scale and room-scale reconstruction are demonstrated using the KITTI dataset and autonomous aggressive flights, respectively. The code is available for the benefit of the community.

연구 동기 및 목표

• CPU 계산만을 사용하여 실시간으로 전역 일관성이 확보된 대규모 환경에서의 밀도 높은 3D 재구성을 가능하게 하기.
• 실내 규모에서 도시 규모에 이르는 대규모 환경에서 밀도 높은 서펠 매핑의 확장성 및 메모리 효율성 문제를 해결하기.
• GPU 가속 없이도 스테레오 및 단안 카메라에서 유도된 저품질 깊이 맵을 융합할 수 있도록 하기.
• 효율적인 서펠 정렬과 포즈 그래프 기반 매핑 변형을 통해 실시간 성능과 전역 일관성을 유지하기.
• 다양한 로봇 플랫폼과 센서 유형에서 사용 가능한 견고하고 일반적인 매핑 시스템 제공하기.

제안 방법

• 외곽선에 강건한 슈퍼픽셀을 강도 및 깊이 이미지에서 추출하여 서펠을 초기화함으로써 메모리 사용량을 줄이고 노이즈가 많은 깊이 데이터에 대한 강건성을 향상시킨다.
• 서펠은 마지막으로 관측된 关건 프레임에 따라 정렬되며, 이로 인해 모델 규모에 관계없이 국소 융합과 O(1) 융합 시간을 보장한다.
• 희소 SLAM 시스템(예: ORB-SLAM2)에서 최적화된 포즈 그래프를 활용하여 국소적으로 일관된 서펠 클러스터를 식별하고 효율적인 융합을 수행한다.
• 최적화된 포즈 그래프를 사용해 실시간으로 매핑 변형을 수행함으로써 루프 클로징 후 드리프트를 보정하고 전역 일관성을 확보한다.
• RGB-D 카메라, 스테레오 카메라, 단안 깊이 예측 네트워크에서 유도된 깊이 맵의 융합을 지원하여 다양한 센서 유형 간의 유연성을 확보한다.
• 대부분의 계산을 슈퍼픽셀 추출 및 서펠 초기화에 위탁함으로써 런타임 효율성을 확보하고, 서펠 융합 자체는 프레임당 6ms 미만으로 수행된다.

실험 결과

연구 질문

• RQ1 CPU 계산만을 사용하여 실시간 성능과 전역 일관성을 확보할 수 있는 밀도 높은 서펠 매핑 시스템이 도시 규모 환경에서 가능할 수 있는가?
• RQ2 GPU 가속 없이도 다양한 규모의 모델에서 서펠 기반 매핑이 O(1) 융합 시간을 유지할 수 있는가?
• RQ3 슈퍼픽셀 기반 서펠 표현 방식이 스테레오 또는 단안 카메라에서 유도된 저품질 깊이 맵에 대해 강건성을 향상시킬 수 있는가?
• RQ4 포즈 그래프 기반 서펠 정렬 및 변형 방식이 대규모 재구성에서 매핑 드리프트를 얼마나 효과적으로 보정할 수 있는가?
• RQ5 메모리 및 런타임 효율성을 유지하면서도 다양한 센서 입력(RGB-D, 스테레오, 단안) 간의 원활한 재구성을 지원할 수 있는가?

주요 결과

• KITTI 오도메트리 시퀀스 00에서 스테레오 깊이 맵과 ORB-SLAM2를 사용하여 10Hz 실시간 성능를 달성하였고, 프레임당 서펠 융합 시간은 6ms 미만이었다.
• 메모리 사용량은 환경 규모에 따라 증가할 뿐 런타임에 따라 증가하지 않으며, 루프 클로징 동안 서펠 재사용 덕분에 거의 일정하게 유지된다. KITTI 시퀀스에서 프레임 3000에서 4000 사이에서 이를 입증하였다.
• 단안 깊이 예측을 사용하여 도시 규모의 환경을 성공적으로 재구성하였으며, GPU 없이도 단안 입력에서 스케일 일관성 있는 재구성을 달성한 최초의 온라인 밀도 높은 융합 시스템이다.
• 루프 클로징 후 실시간으로 매핑 드리프트가 효과적으로 보정되었으며, 예를 들어 도로와 차량이 잘못 정렬된 거리 모서리에서 변형 후 재정렬된 구조물이 관찰되었다.
• CHISEL과 비교하여 반복 방문 시에도 미세한 장애물을 정확히 재구성할 수 있었으며, 이는 자율적인 과도한 비행에 사용 가능한 지도를 제공한다.
• 기존 방법에 비해 확장성과 메모리 효율성에서 뛰어나며, GPU 없이도 실시간 성능를 유지하면서 저품질 깊이 입력에서의 재구성도 지원한다.