[논문 리뷰] Gaussian Splatting SLAM

Hidenobu Matsuki, Riku Murai외 2명|arXiv (Cornell University)|2023. 12. 11.

Advanced Vision and Imaging인용 수 8

한 줄 요약

이 논문은 3D Gaussian Splatting (3DGS)을 유일한 장면 표현으로 사용하는 최초의 온라인 SLAM 시스템을 제시하며, 고품질의 실시간 모노큘러/RGB-D 추적, 매핑 및 새로운 관점 합성을 가능하게 한다.

ABSTRACT

We present the first application of 3D Gaussian Splatting in monocular SLAM, the most fundamental but the hardest setup for Visual SLAM. Our method, which runs live at 3fps, utilises Gaussians as the only 3D representation, unifying the required representation for accurate, efficient tracking, mapping, and high-quality rendering. Designed for challenging monocular settings, our approach is seamlessly extendable to RGB-D SLAM when an external depth sensor is available. Several innovations are required to continuously reconstruct 3D scenes with high fidelity from a live camera. First, to move beyond the original 3DGS algorithm, which requires accurate poses from an offline Structure from Motion (SfM) system, we formulate camera tracking for 3DGS using direct optimisation against the 3D Gaussians, and show that this enables fast and robust tracking with a wide basin of convergence. Second, by utilising the explicit nature of the Gaussians, we introduce geometric verification and regularisation to handle the ambiguities occurring in incremental 3D dense reconstruction. Finally, we introduce a full SLAM system which not only achieves state-of-the-art results in novel view synthesis and trajectory estimation but also reconstruction of tiny and even transparent objects.

연구 동기 및 목표

• 추적, 매핑, 렌딩을 위한 통합되고 밀집된 3D 표현으로 온라인 재구성을 촉진한다.
• 오프라인 포즈 없이 실시간 SLAM에 적합한 구분 가능한 가우시안 기반 표현(3DGS)을 도입한다.
• 3DGS 프레임워크 내에서 해석적 카메라 포즈 최적화 및 기하학적 정규화를 가능하게 한다.
• 응집력 있고 확장 가능한 맵을 유지하기 위한 키프레임 관리 및 가우시안 삽입/삭감 전략을 개발한다.
• 모노큘러 및 RGB-D 데이터 세트에서 최첨단 궤적 추정 및 고품실도의 새로운 시점 합성을 시연한다.

제안 방법

• 색상과 불투명을 포함하는 비등방성 3D 가우시안을 대량으로 사용하여 장면을 표현한다.
• 최적화를 위한 그래디언트 흐름을 가능하게 하려면 레이 행진이 아닌 구분 가능한 가우시안 스플래팅(레스터화)으로 이미지를 렌더링한다.
• 포즈 최적화를 가능하게 하기 위해 3D 가우시안 맵에 대한 SE(3) 카메라 포즈의 해석적 야코비안을 도출한다.
• 기하학적 일관성을 유지하고 인공물을 방지하기 위해 가우시안 모양에 등방성 규칙화를 도입한다.
• 공시성, 깊이 신호 및 다중 프레임 일관성에 의해 안내되는 가우시안 삽입 및 가지치기를 구현한다.
• 추적 및 매핑 중에 광도적 및 기하학적 잔차를 혼합하여 카메라 포즈와 가우시안 파라미터를 최적화한다.

실험 결과

연구 질문

• RQ1 3D Gaussian Splatting을 단일 3D 표현으로 삼아 전체 SLAM 시스템을 구축할 수 있는가?
• RQ2 카메라 포즈를 실시간으로 구분 가능한 가우시안 맵에 직접 최적화할 수 있는가?
• RQ3 점진적 3DGS 재구성에서 기하학적 정합성을 유지하기 위해 필요한 정규화 및 맵 관리 전략은 무엇인가?
• RQ4 모노큘러 및 RGB-D 데이터에서 추적 정확도 및 새로운 시점 렌더링 품질 측면에서 3DGS 기반 SLAM의 성능은 어떠한가?
• RQ5 가우시안 기반 SLAM의 수렴 행동 및 메모리 사용량은 다른 렌더링 기반 또는 신경 표현과 비교하여 어떠한가?

주요 결과

• 제안된 시스템은 3D 가우시안만으로 거의 실시간에 가까운 SLAM(3fps)을 달성한다.
• 3DGS 맵에 대한 해석적 SE(3) 카메라 포즈 야코비안은 효율적인 직접 최적화를 가능하게 한다.
• 등방성 Gaussian 규칙화는 기하학적 일관성을 개선하고 점진적 매핑에서 인공물을 감소시킨다.
• 해당 기준선들과 비교하여 모노큘러 및 RGB-D 데이터 세트에서 최첨단 궤적 추정 및 렌더링 품질을 달성한다.
• 가우시안 스플래팅으로 인한 새로운 시점 합성은 높은 FPS에서 작동하며 투명성과 같은 까다로운 재료를 포함해 상세하고 사진 실사에 가까운 시점을 안정적으로 렌더링한다.
• 가우시안 기반 SLAM은 카메라 포즈에 대해 큰 수렴 베이스를 보여 강건한 위치 추정을 촉진한다.