[논문 리뷰] NICER-SLAM: Neural Implicit Scene Encoding for RGB SLAM

Zihan Zhu, Songyou Peng외 5명|arXiv (Cornell University)|2023. 02. 07.

Robotics and Sensor-Based Localization인용 수 7

한 줄 요약

NICER-SLAM은 단일 RGB 입력만을 사용하여 카메라 자세와 계층적인 신경 암시적 장면 표현을 동시에 최적화하는 새로운 엔드 투 엔드 미분 가능한 RGB SLAM 시스템이다. 단일 영상 기반 기하학적 힌트, 광학 흐름, 기하 일관성에 기반한 워핑 손실을 통합함으로써, 깊이 센서 없이도 고해상도의 밀도 있는 3D 재구성과 RGB-D SLAM 시스템 수준의 새로운 시야 합성 성능을 달성한다. 이는 깊이 센서 없이도 대규모 실내 환경에서도 성능을 유지를 한다.

ABSTRACT

Neural implicit representations have recently become popular in simultaneous localization and mapping (SLAM), especially in dense visual SLAM. However, previous works in this direction either rely on RGB-D sensors, or require a separate monocular SLAM approach for camera tracking and do not produce high-fidelity dense 3D scene reconstruction. In this paper, we present NICER-SLAM, a dense RGB SLAM system that simultaneously optimizes for camera poses and a hierarchical neural implicit map representation, which also allows for high-quality novel view synthesis. To facilitate the optimization process for mapping, we integrate additional supervision signals including easy-to-obtain monocular geometric cues and optical flow, and also introduce a simple warping loss to further enforce geometry consistency. Moreover, to further boost performance in complicated indoor scenes, we also propose a local adaptive transformation from signed distance functions (SDFs) to density in the volume rendering equation. On both synthetic and real-world datasets we demonstrate strong performance in dense mapping, tracking, and novel view synthesis, even competitive with recent RGB-D SLAM systems.

연구 동기 및 목표

• 단일 영상 RGB 영상만을 사용하여 추적과 매핑을 동시에 수행하는 통합적이고 엔드 투 엔드 최적화 가능한 밀도 있는 SLAM 시스템을 개발하는 것.
• 단일 영상 기반 기하학적 힌트와 운동 감독를 통합하여 RGB만으로 구성된 SLAM에서의 깊이 모호성과 열악한 3D 재구성 문제를 해결하는 것.
• RGB-D 센서 없이도 대규모 실내 환경에서 고품질의 새로운 시야 합성과 정확한 밀도 있는 3D 재구성 성능을 달성하는 것.
• 계층적 특징 격자와 적응형 SDF에서 밀도로의 변환을 도입하여 암시적 SLAM의 최적화 안정성과 수렴 성능을 향상시키는 것.

제안 방법

• 계층적인 신경 암시적 표현을 통해 서피스 거리 함수(SDF)와 색상 정보를 인코딩하여 고해상도 3D 재구성을 가능하게 한다.
• 깊이, 법선, 광학 흐름 예측을 기하학적 감독으로 통합하여 깊이 모호성을 해소하고 최적화 성능을 향상시킨다.
• 예측된 RGB 이미지와 관측된 이미지 간의 기하 일관성을 강제하기 위해 새로운 워핑 손실을 도입한다.
• 순차적인 RGB 입력에 더 잘 적합하고 복잡한 실내 환경에서의 렌더링 품질을 향상시키기 위해 국소적으로 적응적인 SDF에서 밀도로의 변환을 제안한다.
• 차별 가능한 부피 렌더링를 통해 카메라 자세와 신경 암시적 장면 표현을 동시에 최적화하는 엔드 투 엔드 미분 가능한 프레임워크를 구현한다.
• 색상과 SDF에 대해 다중 해상도 특징 격자를 사용하며, 기하학적 학습과 수렴 성능 향상을 위해 거친 특징 격자를 도입한다.

실험 결과

연구 질문

• RQ1 단일 영상 RGB 입력과 신경 암시적 장면 표현을 사용하여 추적과 매핑을 동시에 수행할 수 있는 통합적이고 엔드 투 엔드 최적화 가능한 SLAM 시스템을 구축할 수 있는가?
• RQ2 깊이, 법선, 광학 흐름 등 단일 영상 기반 기하학적 힌트는 RGB만으로 구성된 SLAM에서 최적화 안정성과 정확도를 어떻게 향상시킬 수 있는가?
• RQ3 계층적 신경 암시적 표현과 적응형 SDF에서 밀도로의 변환은 3D 재구성 품질과 새로운 시야 합성에 어떤 영향을 미치는가?
• RQ4 이러한 시스템은 매핑 정확도와 시야 합성의 정밀도 측면에서 최신 RGB-D SLAM 시스템과 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• NICER-SLAM은 Replica 데이터셋에서 카메라 추적과 3D 재구성에서 최신 기술 수준의 성능을 달성하였으며, ATE RMSE는 2.01 mm, 완전성 비율은 83.98%를 기록하였다.
• 제거 실험 결과에서 단일 영상 기반 깊이 또는 법선 감독을 제거할 경우 추적 및 재구성 정확도가 심각하게 떨어지며, 이는 이들 요소가 깊이 모호성 해소에 필수적임을 시사한다.
• 거친 격자와 미세 격자를 모두 포함한 계층적 아키텍처는 기하학적 학습을 향상시키며, 거친 격자를 제거할 경우 ATE RMSE는 1.06 증가하고 완전성 비율은 16.69% 감소한다.
• 국소적으로 적응적인 SDF에서 밀도로의 변환은 고정 및 전역 최적화된 베타 설정보다 우수한 성능을 보이며, 기하학적 정확도와 추적 성능 간의 최적 균형을 달성한다.
• 장면 기하학에 SDF를 사용할 경우 점유도(occupancy)보다 더 정확한 표면 재구성을 가능하게 하며, 정성적 비교에서 더 선명한 법선 맵과 향상된 완전성 비율을 확인할 수 있다.
• 워핑 손실, 광학 흐름, 기하학적 감독을 모두 포함한 전체 손실 설정이 가장 우수한 전반적 성능을 보였으며, 제일 높은 완전성 비율과 가장 낮은 ATE RMSE를 기록하였다.