[논문 리뷰] NICE-SLAM: Neural Implicit Scalable Encoding for SLAM

Zihan Zhu, Songyou Peng외 6명|arXiv (Cornell University)|2021. 12. 22.

Robotics and Sensor-Based Localization인용 수 7

한 줄 요약

NICE-SLAM은 계층적 특징 격자를 사용하여 신경 암시적 표현을 통해 장면 기하학과 색상 정보를 인코딩하는 확장성 있고 실시간으로 동작하는 밀도 높은 RGB-D SLAM 시스템을 제안한다. 이는 국소 최적화와 더 나은 재구성 세부 정보를 가능하게 한다. 다양한 해상도에서 사전 훈련된 기하학적 사전 지식을 통합함으로써, 이전의 신경 암시적 SLAM 방법에 비해 더 뛰어난 확장성, 노이즈 및 동적 물체에 대한 강인성, 관측되지 않은 영역의 정확한 구멍 메우기 능력을 달성한다.

ABSTRACT

Neural implicit representations have recently shown encouraging results in various domains, including promising progress in simultaneous localization and mapping (SLAM). Nevertheless, existing methods produce over-smoothed scene reconstructions and have difficulty scaling up to large scenes. These limitations are mainly due to their simple fully-connected network architecture that does not incorporate local information in the observations. In this paper, we present NICE-SLAM, a dense SLAM system that incorporates multi-level local information by introducing a hierarchical scene representation. Optimizing this representation with pre-trained geometric priors enables detailed reconstruction on large indoor scenes. Compared to recent neural implicit SLAM systems, our approach is more scalable, efficient, and robust. Experiments on five challenging datasets demonstrate competitive results of NICE-SLAM in both mapping and tracking quality. Project page: https://pengsongyou.github.io/nice-slam

연구 동기 및 목표

• 기존의 신경 암시적 SLAM 시스템이 큰 장면에서 과도하게 매끄럽게 재구성되는 문제와 낮은 확장성 문제를 해결하기 위해.
• 다중 수준의 국소 장면 정보를 통합하여 관측되지 않은 영역의 세밀하고 예측 가능한 재구성을 가능하게 하기 위해.
• 전역 업데이트가 아닌 국소 업데이트를 허용함으로써 장면 표현에 대한 최적화를 국소화하여 추적 강인성과 효율성을 향상시키기 위해.
• 대규모 SLAM를 위한 신경 암시적 표현의 예측 능력과 격자 기반 장면 표현의 확장성 특성을 결합하기 위해.

제안 방법

• NICE-SLAM은 거친, 중간, 미세 수준의 다중 해상도 특징 격자를 별도로 사용하여 장면 기하학과 색상을 계층적 특징 격자로 표현한다.
• 특징 격자에서 기하학과 외관을 디코딩하기 위해 작은 국소 MLP를 사용하여 카메라의 시야 범위 내에서 효율적인 국소 최적화를 가능하게 한다.
• 예측된 RGB 및 깊이 이미지와 관측된 이미지 간의 재렌더링 손실을 최소화함으로써 특징 격자를 최적화한다.
• 다양한 공간 해상도에서 사전 훈련된 기하학적 사전 지식을 사용하여 최적화를 안내함으로써 세부 정보 유지와 일반화 능력을 향상시킨다.
• 슬라이딩 윈도우 방식의 关键 프레임 집합에 대해 카메라 자세와 장면 특징을 동시에 최적화하는 국소 백업 조정을 적용하여 추적 정확도를 향상시킨다.
• 색상 표현을 정밀화하기 위해 광학적 손실을 사용하며, 이는 제한된 최적화 예산에도 불구하고 추적 안정성을 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 전역 MLP 기반 표현에 비해 계층적 신경 암시적 표현이 밀도 높은 RGB-D SLAM에서 확장성과 재구성 세부 정보 향상에 기여하는가?
• RQ2 다중 수준 기하학적 사전 지식을 통합할 경우 관측되지 않은 영역의 장면 기하학 예측 능력에 어떤 영향을 미치는가?
• RQ3 특징 격자의 국소 최적화가 큰 장면에서 추적 강인성과 계산 효율성 향상에 어느 정도 영향을 미치는가?
• RQ4 운동 물체와 관측 누락과 같은 도전적인 조건에서도 제안된 방법이 어떻게 성능을 발휘하는가?

주요 결과

• NICE-SLAM은 ScanNet에서 평균 ATE RMSE 9.63 mm를 기록하여 국소 백업 조정이 없는 기준 모델(37.74 mm)과 광학적 손실이 없는 기준 모델(32.02 mm)보다 뚜렷이 뛰어난 성능을 보였다.
• 국소 BA가 없는 기준 모델 대비 ATE RMSE를 63% 감소시켜 카메라 자세와 장면 특징의 공동 최적화가 핵심적인 역할을 한다는 것을 입증했다.
• NICE-SLAM은 구멍 메우기 및 관측되지 않은 영역로의 기하학적 외삽을 성공적으로 수행하였으며, iMAP*가 미관측 영역에서 노이즈가 많은 예측을 내보내는 것에 비해 더 매끄럽고 정확한 재구성을 생성했다.
• 운동 물체가 존재하는 상황에서도 일관된 재투영 정확도를 유지하며 최적화 과정에서 동적 픽셀을 효과적으로 마스킹함으로써 추적 간접성을 유지했다.
• iMAP의 关键 프레임 선택 전략을 사용할 경우 수렴 속도가 느려지고 추적 성능이 열 劣해지는 것으로 나타나, NICE-SLAM의 자체 적응형 关键 프레임 선택 전략의 유용성을 입증했다.
• 절단 실험을 통해 계층적 아키텍처와 광학적 색상 표현이 높은 추적 정확도와 안정적인 최적화에 필수적임을 확인했다.