[논문 리뷰] Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting

Vladimir Yugay, Yue Li외 2명|arXiv (Cornell University)|2023. 12. 06.

Robotics and Sensor-Based Localization인용 수 18

한 줄 요약

Gaussian-SLAM은 3D Gaussian splats를 장면 표현으로 사용하여 인터랙티브 속도로 사진 실사에 가까운 렌더링을 달성하는 밀도 RGBD SLAM 시스템을 도입합니다. 온라인 서브-맵 관리 및 기하 인코딩을 갖추고, 실시간으로 최상의 렌더링 품질과 실제 세계 데이터에서 경쟁력 있는 재구성을 제공합니다.

ABSTRACT

We present a dense simultaneous localization and mapping (SLAM) method that uses 3D Gaussians as a scene representation. Our approach enables interactive-time reconstruction and photo-realistic rendering from real-world single-camera RGBD videos. To this end, we propose a novel effective strategy for seeding new Gaussians for newly explored areas and their effective online optimization that is independent of the scene size and thus scalable to larger scenes. This is achieved by organizing the scene into sub-maps which are independently optimized and do not need to be kept in memory. We further accomplish frame-to-model camera tracking by minimizing photometric and geometric losses between the input and rendered frames. The Gaussian representation allows for high-quality photo-realistic real-time rendering of real-world scenes. Evaluation on synthetic and real-world datasets demonstrates competitive or superior performance in mapping, tracking, and rendering compared to existing neural dense SLAM methods.

연구 동기 및 목표

• 고해상 렌더링을 위한 Gaussian splatting 장면 표현으로 밀도 SLAM 동기를 부여합니다.
• 오프라인 다중 시야에서 온라인 모노큘러 RGBD SLAM으로 Gaussian splatting 확장합니다.
• Gaussian splats 내부에 기하를 인코딩하여 모노큘러 설정에서 3D 재구성을 개선합니다.
• 인터랙티브한 성능을 유지하기 위한 온라인 서브-맵 시드 생성 및 최적화 전략을 개발합니다.
• Gaussian 장면 표현을 사용한 프레임-대-모델 추적을 조사하고 프레임-대-프레임 추적과의 차이를 비교합니다.

제안 방법

• 장면을 3D 가우스(평균, 스케일, 회전, 불투명도, 구면 조화) 파라미터를 가진 집합으로 표현합니다.
• 온라인 학습이 가능하고 재난적 망각을 방지하기 위해 입력 시퀀스를 서브-맵으로 분할하고, 깊이와 색 손실로 활성 서브-맵을 최적화합니다.
• 키프레임의 밀도 포인트 클라우드에서 새로운 가우스를 시드하고 기하를 초기화하기 위해 시점 방향 뒤에 고정합니다.
• 색상 및 깊이 손실을 L1 및 SSIM로 결합한 차별화 가능한 래스터라이저를 사용해 렌더링하고, 스케일 폭발을 방지하는 정규화 항을 추가합니다.
• RGBD 오도메트리로 포즈를 초기화하고 프레임-대-모델 재렌더링 손실을 정제하며, Gaussian splats의 외삽 한계를 주의합니다.

실험 결과

연구 질문

• RQ1 Gaussian splats를 효과적으로 확장하여 RGBD 입력과 함께 온라인 모노큘러 SLAM을 위한 기하 인코딩이 가능할까?
• RQ2 온라인 서브-맵 시드 생성 및 최적화를 인터랙티브한 성능을 유지하도록 설계할 수 있을까(재난적 망각 없이)?
• RQ3 dense SLAM에서 프레임-대-모델 추적과 프레임-대-프레임 추적 간의 차이가 어떤 영향을 미치는가?
• RQ4 Gaussian splats가 기하 정확도와 외삽에 어떤 한계를 주고 있으며, 이를 SLAM에서 완화할 수 있을까?

주요 결과

방법	PSNR↑	SSIM↑	LPIPS↓
NICE-SLAM	17.54	0.621	0.548
Vox-Fusion	18.17	0.673	0.504
ESLAM	15.29	0.658	0.488
Point-SLAM	19.82	0.751	0.514
Gaussian-SLAM (ours)	37.45	0.984	0.068

• Gaussian-SLAM은 ScanNet에서 최첨단 렌더링 품질을 달성하고 밀도 신경 SLAM 방법과 재구성 성능이 견줄 만합니다.
• ScanNet에서 Gaussian-SLAM은 PSNR 37.45, SSIM 0.984, LPIPS 0.068로 NICE-SLAM, Vox-Fusion, ESLAM, Point-SLAM보다 렌더링 메트릭에서 우수합니다.
• TUM-RGBD에서 Gaussian-SLAM은 강력한 렌더링 메트릭을 보이며 경쟁 방법들에 비해 상당한 개선을 보였습니다(표 2 결과).
• 서브-맵 기반 온라인 시드 생성 및 최적화는 깊이 센서로부터 얻은 기하를 보존하며 인터랙티브 타임의 재구성을 가능하게 합니다.
• Gaussian splats로의 추적은 외삽으로 인한 프레임-대-모델 추적에서 한계를 보이며, 오라클 실험은 깊이 렌더링을 개선하면 잠재적으로 개선될 수 있음을 시사합니다.