[논문 리뷰] iDF-SLAM: End-to-End RGB-D SLAM with Neural Implicit Mapping and Deep Feature Tracking

Yuhang Ming, Weicai Ye외 1명|arXiv (Cornell University)|2022. 09. 16.

Robotics and Sensor-Based Localization인용 수 15

한 줄 요약

iDF-SLAM은 RGB-D SLAM 시스템을 엔드 투 엔드로 제안하며, 딥 페처 기반 신경 추적기와 NeRF 스타일의 신경 암시 맵퍼를 결합하여 환경 재구성한다. 추적기와 암시 맵을 함께 미세조정하고, 맵 업데이트를 키프레임에서만 수행함으로써, 지도 없는 자율 학습 및 온라인 학습 환경에서도 최신 기술 수준의 재구성 품질과 경쟁 가능한 추적 성능을 달성한다.

ABSTRACT

We propose a novel end-to-end RGB-D SLAM, iDF-SLAM, which adopts a feature-based deep neural tracker as the front-end and a NeRF-style neural implicit mapper as the back-end. The neural implicit mapper is trained on-the-fly, while though the neural tracker is pretrained on the ScanNet dataset, it is also finetuned along with the training of the neural implicit mapper. Under such a design, our iDF-SLAM is capable of learning to use scene-specific features for camera tracking, thus enabling lifelong learning of the SLAM system. Both the training for the tracker and the mapper are self-supervised without introducing ground truth poses. We test the performance of our iDF-SLAM on the Replica and ScanNet datasets and compare the results to the two recent NeRF-based neural SLAM systems. The proposed iDF-SLAM demonstrates state-of-the-art results in terms of scene reconstruction and competitive performance in camera tracking.

연구 동기 및 목표

• 밀도 있는 SLAM 시스템의 높은 VRAM 및 계산 비용 문제를 신경 암시 맵 표현 방식을 통해 해결하기 위해.
• 키프레임 기반의 맵 업데이트를 통해 프레임당 최적화 횟수를 줄여 NeRF 기반 SLAM의 런타임 효율성을 향상시키기 위해.
• 운영 중에 장면 특성에 맞는 특징으로 미리 학습된 신경 추적기를 미세조정하여 SLAM에서 종신 학습을 가능하게 하기 위해.
• 추적 및 맵핑 구성 요소 모두에 대해 지도 없는 자율 학습을 통해 진정한 지도 없는 자율 학습을 달성하기 위해.
• 체적 밀도나 점유도 기반 표현 방식이 아닌 직접적으로 잘라낸 부호 거리 함수(T-SDF)를 회귀함으로써 재구성 정확도를 향상시키기 위해.

제안 방법

• 실시간 카메라 자세 추정을 위해 사전 학습된 미세조정 가능한 페처 기반 신경 추적기를 사용하여 기존의 특징 매칭 기법을 대체한다.
• 3D 쿼리 포인트에서 잘라낸 부호 거리 함수(T-SDF)로 장면을 암시적으로 표현하기 위해 단일 MLP를 사용한다.
• 새로운 키프레임이 선택될 때만 신경 암시 맵을 업데이트하여, 프레임당 최적화 대비 계산 부담을 감소시킨다.
• 공동 최적화 수행: 먼저 현재 맵에 대해 카메라 자세를 정밀 조정하고, 그 다음 키프레임과 최적화된 자세를 사용하여 MLP 가중치를 업데이트한다.
• 단일 카메라 영상 및 깊이 영상 시퀀스만을 사용하여 추적기와 맵퍼를 지도 없는 방식으로 함께 학습한다. 지도 없는 자세 정보 없이도 가능하다.
• 첫 번째 프레임의 특징으로 MLP를 초기화하고, 온라인 운영 중에 키프레임 데이터를 점진적으로 활용하여 이를 정밀 조정한다.

실험 결과

연구 질문

• RQ1 SLAM 운영 중에 특징 기반 딥 신경 추적기를 효과적으로 미세조정하여 새로운 환경에서 추적의 강건성을 향상시킬 수 있는가?
• RQ2 T-SDF를 신경 암시 맵 표현 방식으로 사용할 경우, 체적 밀도나 점유도 기반 표현 방식보다 더 높은 재구성 정확도를 달성할 수 있는가?
• RQ3 키프레임 기반의 맵 업데이트만으로도 프레임당 최적화 대비 계산 비용을 크게 줄일 수 있을까? 동시에 높은 재구성 품질을 유지할 수 있는가?
• RQ4 지도 없는 자율 학습 및 엔드 투 엔드 학습 방식은 지도 없는 자세 정보 없이 추적 정확도와 재구성 충실도 측면에서 얼마나 잘 작동하는가?
• RQ5 제한된 맵 업데이트 빈도와 특징 기반 추적 방식이 어려운 시퀀스에서 장기적인 드리프트 및 성능에 어떤 영향을 미치는가?

주요 결과

• iDF-SLAM은 Replica 데이터셋에서 최신 기술 수준의 재구성 결과를 달성하였으며, iMAP 및 NICE-SLAM 대비 완성도에서 2cm 향상되고 완성도 비율은 10% 증가하였다.
• ScanNet 데이터셋에서는 경쟁 가능한 카메라 추적 성능을 보였으며, 특히 0059번 및 0106번 시퀀스에서는 iMAP를 능가하고 NICE-SLAM과 동등하거나 슈퍼어리어를 기록하였다.
• Replica에서 평균 ATE RMSE는 0.015m, ScanNet에서는 0.016m를 기록하여 뛰어난 추적 정확도를 입증하였다.
• 우수한 재구성 성능에도 불구하고, 빠른 운동을 보이는 시퀀스(예: Replica의 Room-1 및 Room-2)에서는 추적기 민감도와 낮은 맵 업데이트 빈도로 인해 추적 성능이 저하되었다.
• 장기적인 시퀀스에서는 특징 기반 추적기와 낮은 맵 업데이트 빈도로 인해 드리프트 현상이 관찰되었으며, 이는 NICE-SLAM 대비 ScanNet에서의 성능 제한 요인으로 작용하였다.
• 체적 밀도나 점유도 기반 표현 대비 T-SDF 사용 시, 특히 복잡한 기하학적 구조를 가진 시퀀스에서 더 정확한 표면 예측이 가능하다.