[논문 리뷰] GlORIE-SLAM: Globally Optimized RGB-only Implicit Encoding Point Cloud SLAM

Gan‐Lin Zhang, Erik Sandström외 4명|arXiv (Cornell University)|2024. 03. 28.

3D Surveying and Cultural Heritage인용 수 6

한 줄 요약

GlORIE-SLAM은 온라인 루프 클로저 및 전역 BA를 갖춘 변형 가능한 신경 포인트 클라우드를 활용하고_DSPO_ 레이어로 모노큘러 깊이 priors를 포즈-깊이 최적화에 융합하는 RGB 전용 Dense SLAM 시스템을 제시합니다.

ABSTRACT

Recent advancements in RGB-only dense Simultaneous Localization and Mapping (SLAM) have predominantly utilized grid-based neural implicit encodings and/or struggle to efficiently realize global map and pose consistency. To this end, we propose an efficient RGB-only dense SLAM system using a flexible neural point cloud scene representation that adapts to keyframe poses and depth updates, without needing costly backpropagation. Another critical challenge of RGB-only SLAM is the lack of geometric priors. To alleviate this issue, with the aid of a monocular depth estimator, we introduce a novel DSPO layer for bundle adjustment which optimizes the pose and depth of keyframes along with the scale of the monocular depth. Finally, our system benefits from loop closure and online global bundle adjustment and performs either better or competitive to existing dense neural RGB SLAM methods in tracking, mapping and rendering accuracy on the Replica, TUM-RGBD and ScanNet datasets. The source code is available at https://github.com/zhangganlin/GlOIRE-SLAM

연구 동기 및 목표

• RGB 전용 Dense SLAM을 맵 업데이트를 위한 비용이 큰 역전파 없이 추진한다.
• 온라인 루프 클로저와 전역 BA를 가능하게 하는 변형 가능한 신경 포인트 클라우드 맵을 제안한다.
• DSPO(Disparity, Scale and Pose Optimization)로 모노큘러 깊이 priors를 BA에 융합한다.
• 모노큘러 깊이 priors를 활용해 스케일, 깊이 정확도 및 재구성 품질을 향상시킨다.
• 표준 데이터셋에서 렌더링, 재구성 및 추적 성능이 경쟁력 있거나 우수함을 입증한다.

제안 방법

• 씬을 각 포인트가 기하학적 및 색상 특성을 가지는 변형 가능한 신경 포인트 클라우드로 표현한다.
• 깊이에 의해 안내된 샘플링과 깊이 민감한 반경을 갖는 키프레임에 광선을 따라 신경 포인트를 추가한다.
• 깊이-가이드 볼륨 렌더링을 이용해 고정된 점유율 MLP와 시야 방향 조건부의 색상 MLP를 통해 깊이와 색상을 렌더링한다.
• 프레임 간 광류를 이용한 트래킹, DBA 기반 로컬 BA 및 모노큘러 깊이 priors를 사용하여 시차, 스케일, 포즈를 공동 최적화하는 DSPO 레이어를 적용한다.
• 프록시 깊이 맵은 모노큘러 깊이 priors와 다중 뷰 일관성을 융합해 렌더링과 매핑의 안정성을 확보한다.
• 맵 업데이트는 특징 재학습 없이 카메라 포즈를 정밀하게 반영하기 위해 신경 포인트 클라우드를 변형한다.
• 수치 안정성을 위한 정규화 단계와 함께 인자 그래프 접근법으로 루프 클로저 및 온라인 전역 BA를 구현한다.
• DSPO를 위한 2단계 최적화: 먼저 DBA로 기하를 다듬고; 그다음 모노큘러 깊이 priors에 의해 안내된 고오류 시차를 스케일 및 시프트와 함께 공동 최적화한다.
• 학습 없이 맵핑: 변형 가능한 포인트 클라우드를 유지해 맵 인코딩에 대한 역전파 없이 전역 포즈 변화가 반영되도록 한다.

실험 결과

연구 질문

• RQ1 RGB 전용 SLAM 시스템이 신경 격자 특징에 역전파를 수행하지 않고도 전역적으로 일관된 맵과 정확한 추적을 달성할 수 있는가?
• RQ2 온라인 루프 클로저와 전역 BA를 갖춘 변형 가능한 신경 포인트 클라우드가 RGB 전용 격자 기반 방법보다 렌더링 및 재구성에서 개선을 제공하는가?
• RQ3 DSPO 레이어에 모노큘러 깊이 priors를 효과적으로 통합해 RGB-전용 SLAM의 스케일 및 깊이를 안정시키는 방법은 무엇인가?
• RQ4 Replica, TUM-RGBD, ScanNet 전반에 걸친 온라인 루프 클로저와 전역 BA가 궤적 정확도와 맵 품질에 미치는 영향은 무엇인가?
• RQ5 제안된 방법이 최신 RGB 및 RGB-D Dense SLAM 기반과 비교해 렌더링, 재구성 및 추적에서 어떤 성능 차이를 보이는가?

주요 결과

• 본 방법은 Replica/ScanNet에서 RGB 기본 baselines 대비 렌더링 정확도(PSNR 및 SSIM)가 높고 LPIPS 점수도 경쟁적이다.
• GlORIE-SLAM은 RGB 방법 중에서 ATE RMSE가 최고 또는 경쟁 수준으로 추적 정확도가 우수함을 나타낸다.
• 변형 가능한 신경 포인트 클라우드는 루프 클로저 및 전역 BA 중 맵 변형을 온라인으로 가능하게 하여 맵 재생성 없이도 업데이트를 가능하게 한다.
• DSPO 레이어는 모노큘러 깊이 priors와 시차 및 스케일 정제를 결합해 깊이 및 포즈 추정치를 개선한다.
• ScanNet에서 GlORIE-SLAM은 렌더링 지표에서 다수의 RGB-D 방법을 능가하며, 데이터셋 전반에서 견고한 추적 정확도를 보인다.