[논문 리뷰] NeSLAM: Neural Implicit Mapping and Self-Supervised Feature Tracking With Depth Completion and Denoising

Tianchen Deng, Yanbo Wang외 5명|arXiv (Cornell University)|2024. 03. 29.

Advanced Vision and Imaging인용 수 6

한 줄 요약

NeSLAM은 깊이 보정(depth completion) 및 노이즈 제거(denoising)를 통합하여 신경 임플리트 매핑을 위한 밀도 기하를 제공하고, occupancy를 Signed Distance Field로 대체하며, 실내 RGB-D SLAM 및 새로운 시점 합성의 강건성을 위한 NeRF 기반의 self-supervised 특징 추적을 도입합니다.

ABSTRACT

In recent years, there have been significant advancements in 3D reconstruction and dense RGB-D SLAM systems. One notable development is the application of Neural Radiance Fields (NeRF) in these systems, which utilizes implicit neural representation to encode 3D scenes. This extension of NeRF to SLAM has shown promising results. However, the depth images obtained from consumer-grade RGB-D sensors are often sparse and noisy, which poses significant challenges for 3D reconstruction and affects the accuracy of the representation of the scene geometry. Moreover, the original hierarchical feature grid with occupancy value is inaccurate for scene geometry representation. Furthermore, the existing methods select random pixels for camera tracking, which leads to inaccurate localization and is not robust in real-world indoor environments. To this end, we present NeSLAM, an advanced framework that achieves accurate and dense depth estimation, robust camera tracking, and realistic synthesis of novel views. First, a depth completion and denoising network is designed to provide dense geometry prior and guide the neural implicit representation optimization. Second, the occupancy scene representation is replaced with Signed Distance Field (SDF) hierarchical scene representation for high-quality reconstruction and view synthesis. Furthermore, we also propose a NeRF-based self-supervised feature tracking algorithm for robust real-time tracking. Experiments on various indoor datasets demonstrate the effectiveness and accuracy of the system in reconstruction, tracking quality, and novel view synthesis.

연구 동기 및 목표

• 실내 환경에서 가정용 RGB-D 센서의 노이즈가 많은 희소 깊이로 인해 안정적이고 실시간 밀도 SLAM을 달성합니다.
• 신경 임플리트 매핑을 위한 정확한 기하 우선 조건을 제공하기 위해 밀도 깊이 보정/노이즈 제거 모듈을 개발합니다.
• 기하 정확도와 시점 합성을 향상시키기 위해 Signed Distance Field (SDF) 계층적 장면 표현을 채택합니다.
• 실내 환경의 현실적인 조건에서 카메라 트래킹을 강화하기 위한 NeRF 기반의 self-supervised 특징 추적 접근법을 제안합니다.
• 일련의 실험 및 박리 실험을 통해 엔드-투-엔드의 견고성, 확장성, 고품질의 새로운 시점 합성을 입증합니다.

제안 방법

• 깊이 보정 및 노이즈 제거 네트워크는 밀도 깊이, 깊이 불확실성, 및 신경 샘플링과 최적화를 안내하는 신뢰도 맵을 제공합니다.
• 점유 격자를 개선된 표면 정확도에 대해 3단계 계층적 SDF 기반 기하 표현으로 대체합니다.
• 거친-정밀 다중 격자 기하와 컬러 격자를 갖춘 NeRF 기반 차별 가능 렌더링을 사용하여 기하와 표정을 공동 최적화합니다.
• NeRF 기반 self-supervised 특징 추적은 Heavy external supervision 없이도 강건한 실시간 카메라 트래킹을 가능하게 합니다.
• 매핑과 트래킹의 두 병행 스레드가 온라인으로 alternating 최적화와 깊이, 컬러, Eikonal, ICP 등의 손실 항목들을 통해 기하학적 일관성과 안정적인 궤적을 보장합니다.

실험 결과

연구 질문

• RQ1 소비자용 RGB-D 센서의 깊이 희소성과 노이즈를 어떻게 완화하여 정확한 신경 임플리트 매핑을 가능하게 할 수 있을까요?
• RQ2 깊이 보정 및 노이즈 제거 우선순위가 신경 임플리트 장면 표현 및 새로운 시점 합성의 품질을 향상시킬 수 있을까요?
• RQ3 계층적 표현에서 점유를 Signed Distance Field(SDF)로 대체하면 기하 정확도와 렌더링 품질이 향상될까요?
• RQ4 NeRF 기반의 self-supervised 특징 추적이 도전적인 실내 환경에서 강건한 실시간 카메라 트래킹을 제공할 수 있을까요?
• RQ5 실내 데이터셋에서 NeSLAM의 재구성 품질, 트래킹 정확도, 시점 합성 측면에서의 전반적인 성능 이점은 무엇인가요?

주요 결과

• NeSLAM은 실내 데이터셋에서 최근의 암묵적 매핑 baselines와 비교하여 우수한 시점 합성 및 3D 재구성 품질을 달성합니다.
• 깊이 보정 및 노이즈 제거는 암묵 표현의 샘플링 효율성과 기하 일관성을 향상시키는 밀도 기하 우선 조건을 제공합니다.
• SDF 기반 계층적 장면 표현은 점유 기반 방법보다 표면 정확도와 렌더링 현실감을 향상시킵니다.
• NeRF 기반의 self-supervised 특징 추적은 다양한 실내 장면에서 강건한 실시간 카메라 트래킹을 제공하며 무작위 픽셀 전략보다 우수합니다.
• 다양한 실험과 ablation을 통해 Replica, ScanNet 및 실제 세계 데이터셋에서 트래킹 정확도, 재구성 품질 및 합성 결과가 향상됨을 보여줍니다.