[논문 리뷰] SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM

Nikhil Keetha, Jay Karhade외 5명|arXiv (Cornell University)|2023. 12. 04.

Robotics and Sensor-Based Localization인용 수 6

한 줄 요약

SplaTAM은 3D 가우시안 스플래터링을 명시적인 부피 맵 표현으로 사용하는 새로운 밀도 높은 RGB-D SLAM 시스템을 제안한다. 이는 실시간 추적 및 맵 작성 기능을 가능하게 하며, 하위 센티미터 수준의 정밀도로 위치 추정을 제공한다. 기울기 기반 렌더링과 실루엣 유도 최적화를 활용하여 카메라 자세 추정, 맵 재구성, 그리고 새로운 시점 합성에서 최신 기술 수준의 성능을 달성한다. 주요 지표에서 이전 방법 대비 최대 2배 향상되었으며, 400 FPS로 렌더링한다.

ABSTRACT

Dense simultaneous localization and mapping (SLAM) is crucial for robotics and augmented reality applications. However, current methods are often hampered by the non-volumetric or implicit way they represent a scene. This work introduces SplaTAM, an approach that, for the first time, leverages explicit volumetric representations, i.e., 3D Gaussians, to enable high-fidelity reconstruction from a single unposed RGB-D camera, surpassing the capabilities of existing methods. SplaTAM employs a simple online tracking and mapping system tailored to the underlying Gaussian representation. It utilizes a silhouette mask to elegantly capture the presence of scene density. This combination enables several benefits over prior representations, including fast rendering and dense optimization, quickly determining if areas have been previously mapped, and structured map expansion by adding more Gaussians. Extensive experiments show that SplaTAM achieves up to 2x superior performance in camera pose estimation, map construction, and novel-view synthesis over existing methods, paving the way for more immersive high-fidelity SLAM applications.

연구 동기 및 목표

• SLAM에서 은닉 신경 표현의 한계, 즉 계산 비효율성, 편집 불가능성, 낮은 공간 제어 능력을 해결하기 위해.
• 고해상도 재구성과 정확한 카메라 추적을 가능하게 하며, 단일 무포즈 단일 카메라 RGB-D로 밀도 높은 실시간 SLAM을 구현하기 위해.
• 명시적인 3D 가우시안을 활용해 빠른 렌더링, 직접적인 기울기 흐름, 그리고 점진적 밀도 증가를 통한 구조적인 맵 확장을 가능하게 하기 위해.
• 기존의 복사율 필드 기반 및 수작업 설계된 SLAM 방법 대비 카메라 자세 추정, 환경 재구성, 새로운 시점 합성에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 시스템은 3D 가우시안 스플래터링을 기반으로 한 장면 표현을 사용하며, 각 가우시안은 3D 위치, 색상, 스케일로 정의된다.
• 기울기 기반 렌더링을 활용해 추적 및 맵 작성에 대한 광학적 손실을 계산함으로써 카메라 자세와 가우시안 매개변수의 엔드 투 엔드 최적화를 가능하게 한다.
• 실루엣 유도 최적화 전략을 통해 맵의 실루엣을 렌더링하여 관측되지 않은 영역를 식별하고, 최적화를 맵핑된 영역로 제한함으로써 효율성과 정확도를 향상시킨다.
• 시야 의존적 외관을 제거하고 등방성 가우시안을 사용하여 렌더링 및 최적화 속도를 가속화하며, 고해상도 입력에서도 최대 400 FPS를 달성한다.
• 맵 확장을 온라인으로 수행하며, 새로운 관측 영역에만 새로운 가우시안을 추가함으로써 구조적이고 효율적인 밀도 증가를 보장한다.
• 온라인 추적 및 맵 작성 파이프라인을 통합하며, 전체 해상도 이미지에 대한 밀도 높은 광학적 손실을 사용한 공동 최적화를 수행한다.

Figure 1 : SplaTAM enables precise camera tracking and high-fidelity reconstruction for dense simultaneous localization and mapping (SLAM) in challenging real-world scenarios. SplaTAM achieves this by online optimization of an explicit volumetric representation, $3$ D Gaussian Splatting [ 14 ] , usi

실험 결과

연구 질문

• RQ1 명시적인 3D 가우시안 표현은 단일 무포즈 단일 카메라 RGB-D로 실시간, 밀도 높은 SLAM을 가능하게 할 수 있는가?
• RQ2 SLAM에서 은닉 신경 표현에 비해 3D 가우시안 스플래터링은 최적화 속도, 맵 제어, 편집 가능성 면에서 어떻게 비교되는가?
• RQ3 실루엣 유도 최적화는 무문자 또는 도전적인 환경에서 추적의 강건성을 향상시킬 수 있는가?
• RQ4 명시적인 부피 맵 표현을 사용할 때, 밀도 높은 광학적 손실을 효율적으로 적용할 수 있는 정도는 어느 정도인가?
• RQ5 3D 가우시안의 통합은 렌더링 속도, 맵 정밀도, 추적 정확도 간의 상호 보완적 관계에 어떤 영향을 미치는가?

주요 결과

• SplaTAM은 Replica/Room 0 데이터셋에서 0.27 cm의 ATE(Absolute Trajectory Error)를 달성하여 최신 기술 수준의 방법보다 2배 향상된 성능을 보였다.
• 새로운 시점 합성에서 PSNR 32.81 dB를 달성하여 기준선 대비 뚜렷한 우수성을 보였으며, 실루엣 기반 밀도 증가 시 0.99 임계값에서 오차가 5배 감소했다.
• 프레임당 120만 픽셀을 모두 렌더링함에도 불구하고, SplaTAM은 RTX 3080 Ti에서 추적 및 맵 작성에 대해 1.00초의 런타임을 유지했으며, 이는 200~1000개의 샘플 픽셀만 사용하는 기존 방법과 유사한 성능을 보였다.
• 절단 분석 결과, 색상과 깊이 손실을 모두 포함할 경우 최고의 성능(ATE: 0.27 cm)을 달성했으며, 어느 하나를 생략할 경우 심각한 성능 저하가 발생했다.
• 경량 버전인 SplaTAM-S는 성능 저하가 미미한 수준(ATE: 0.39 cm)에서 5배 빠른 속도로 실행되어 확장성과 효율성을 입증했다.
• 시스템은 876×584 해상도에서 400 FPS로 실시간 사진 수준의 렌더링을 가능하게 하여, 밀도 높은 3D 맵의 고정밀 시각화 능력을 입증했다.

Figure 2 : Overview of SplaTAM . Top-Left: The input to our approach at each timestep is the current RGB-D frame and the 3D Gaussian Map Representation that we have built representing all of the scene seen so far. Top-Right: Step (1) estimates the camera pose for the new image, using silhouette-guid