[논문 리뷰] Point-SLAM: Dense Neural Point Cloud-based SLAM

Erik Sandström, Yue Li외 2명|arXiv (Cornell University)|2023. 04. 09.

Robotics and Sensor-Based Localization인용 수 18

한 줄 요약

Point-SLAM은 학습 가능한 포인트 피처를 데이터 주도적이고 적응적인 신경 포인트 클라우드에 고정시키는 밀집 신경 SLAM 시스템을 제시하여 단안 RGBD 입력으로 실시간 트래킹과 매핑을 가능하게 하며, 정보량이 많은 영역에서 효율성과 디테일을 향상시킵니다.

ABSTRACT

We propose a dense neural simultaneous localization and mapping (SLAM) approach for monocular RGBD input which anchors the features of a neural scene representation in a point cloud that is iteratively generated in an input-dependent data-driven manner. We demonstrate that both tracking and mapping can be performed with the same point-based neural scene representation by minimizing an RGBD-based re-rendering loss. In contrast to recent dense neural SLAM methods which anchor the scene features in a sparse grid, our point-based approach allows dynamically adapting the anchor point density to the information density of the input. This strategy reduces runtime and memory usage in regions with fewer details and dedicates higher point density to resolve fine details. Our approach performs either better or competitive to existing dense neural RGBD SLAM methods in tracking, mapping and rendering accuracy on the Replica, TUM-RGBD and ScanNet datasets. The source code is available at https://github.com/eriksandstroem/Point-SLAM.

연구 동기 및 목표

• 입력 정보 밀도에 적응하는 신경 포인트 기반 장면 표현으로 밀집 SLAM을 동기화합니다.
• 맵과 추적기가 모두 되는 동적이고 입력 주도 포인트 클라우드를 개발합니다.
• 신경 포인트 특징에서 볼륨 렌더링을 통해 깊이와 색상을 렌더링하고 재렌더링 손실을 최적화합니다.
• 필요한 영역에서의 디테일을 향상시키면서 다른 영역의 계산을 줄여 실시간으로 트래킹 및 매핑이 가능하도록 합니다.

제안 방법

• 포인트 p_i와 특징 f_i^g(기하) 및 f_i^c(색상)를 갖는 신경 포인트 클라우드 P를 도입합니다.
• 씬이 탐색될 때 근처 이웃이 반경 r 이내에 없을 때만 포인트를 추가하며 점진적으로 포인트 클라우드를 확장합니다.
• 이미지 그래디언트의 함수로 검색 반경 r을 바꿔 동적 포인트 밀도를 구현하고 텍스처가 있는 영역에 포인트를 집중시킵니다.
• 광선 샘플링을 통해 깊이와 색상을 렌더링하고 기하 디코더 h와 색 디코더 g_ξ를 사용해 신경 피처 P^g 및 P^c로 점유도 o_i와 색상 c_i를 디코딩합니다.
• 매핑(깊이 및 색)과 트래킹(자세)을 위한 RGBD 재렌더링 손실을 최소화하여 맵과 카메라 궤적을 최적화합니다.
• 장면 조명 변화 처리를 위해 학습된 이미지별 잠재 벡터와 노출 MLP G_φ를 이용한 노출 보정 를 사용합니다.

실험 결과

연구 질문

• RQ1 포인트 기반 신경 장면 표현이 실시간 밀집 RGBD SLAM 시스템에서 트래킹과 매핑을 모두 지원할 수 있는가?
• RQ2 입력-적응형(데이터 주도형) 포인트 앵커링이 그리드 기반 신경 SLAM 방법에 비해 렌더링, 매핑 및 트래킹 정확도를 향상시키는가?
• RQ3 동적 포인트 밀도가 실내 데이터셋 전반에서 메모리, 런타임, 재구성 품질에 어떤 영향을 미치는가?
• RQ4 Point-SLAM은 Replica, TUM-RGBD, ScanNet에서 NICE-SLAM, Vox-Fusion, ESLAM에 비해 표준 벤치마크에서 어떤 성능을 보이는가?

주요 결과

• Point-SLAM은 Replica, TUM-RGBD, ScanNet에서 트래킹, 렌더링 및 매핑 측면에서 최첨단 또는 경쟁력 있는 성능을 달성합니다.
• 적응적이고 데이터 주도적인 포인트 앵커링은 텍스처 영역과 같은 고주파 디테일 영역에서 렌더링 충실도와 재구성을 향상시키는 반면 텍스처가 없는 영역에서는 메모리와 계산을 감소시킵니다.
• 밀집 그리드 기반 방법과 비교하여 동적 포인트 밀도는 트래킹 정확도를 희생하지 않으면서 메모리-정확도 트레이드오프를 개선합니다.
• Replica에서 Point-SLAM은 보고된 실행에서 NICE-SLAM, Vox-Fusion, ESLAM보다 평균적으로 더 낮은 트래킹 RMSE(ATE RMSE)를 달성합니다.
• Table 1은 Point-SLAM이 Replica에서 베이스라인에 비해 추적 성능(AVE RMSE, Rm0–Off4 평균)을 우수하거나 경쟁적으로 달성함을 보여줍니다.