[논문 리뷰] SemGauss-SLAM: Dense Semantic Gaussian Splatting SLAM

Siting Zhu, Renjie Qin외 3명|arXiv (Cornell University)|2024. 03. 12.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

SemGauss-SLAM은 실시간 밀도 있는 의미적 맵핑, 강건한 카메라 추적, 고해상도 렌더링을 위한 3D 가우시안 기반 의미적 SLAM 시스템으로, 의미 특징 임bedding을 3D 가우시안에 통합한 최초의 시스템이다. 의미 최적화를 위한 특징 수준의 손실과 의미 기반 배치 조정을 도입하여 드리프트를 감소시키며, Replica 및 ScanNet에서 추적, 재구성, 의미 분할 정확도 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose SemGauss-SLAM, a dense semantic SLAM system utilizing 3D Gaussian representation, that enables accurate 3D semantic mapping, robust camera tracking, and high-quality rendering simultaneously. In this system, we incorporate semantic feature embedding into 3D Gaussian representation, which effectively encodes semantic information within the spatial layout of the environment for precise semantic scene representation. Furthermore, we propose feature-level loss for updating 3D Gaussian representation, enabling higher-level guidance for 3D Gaussian optimization. In addition, to reduce cumulative drift in tracking and improve semantic reconstruction accuracy, we introduce semantic-informed bundle adjustment. By leveraging multi-frame semantic associations, this strategy enables joint optimization of 3D Gaussian representation and camera poses, resulting in low-drift tracking and accurate semantic mapping. Our SemGauss-SLAM demonstrates superior performance over existing radiance field-based SLAM methods in terms of mapping and tracking accuracy on Replica and ScanNet datasets, while also showing excellent capabilities in high-precision semantic segmentation and dense semantic mapping.

연구 동기 및 목표

• 기존 방법의 의미 정확도 및 드리프트 누적 문제를 해결하는 실시간 밀도 있는 의미적 SLAM 시스템을 개발하는 것.
• 사전 정의된 장면 경계 없이 2D 의미 임베딩에서 유한한 3D 의미 맵핑을 효율적으로 수행할 수 있도록 하는 것.
• 최적화 과정에서 다중 시점 의미 일관성을 활용하여 추적의 강건성과 맵핑의 일관성을 향상시키는 것.
• 3D 가우시안 표현을 사용하여 고품질의 의미적 새로운 시점 합성과 사진 수준의 재구성 성능을 달성하는 것.
• 카메라 자세와 장면 표현을 동시에 최적화하는 의미 기반 배치 조정을 통해 누적 드리프트를 감소시키는 것.

제안 방법

• 장면의 공간적 구조에 의미 정보를 통합하기 위해 의미 특징 임베딩을 3D 가우시안 표현에 직접 통합한다.
• 고수준의 의미 특징을 사용하여 3D 가우시안 최적화를 이끄는 특징 수준의 손실 함수를 도입하여 수렴 속도를 가속화하고 세부 사항의 정확도를 향상시킨다.
• 다중 시점 의미 일관성을 제약 조건으로 사용하여 카메라 자세와 3D 가우시안 표현을 동시에 최적화하는 의미 기반 배치 조정을 제안한다.
• 공통으로 관찰 가능한 프레임을 활용하여 의미적 연관성을 수립함으로써, 희소하게 관찰된 영역에서도 강건한 최적화를 가능하게 한다.
• 효율적이고 고품질의 렌더링을 위해 3D 가우시안 스플래터링을 활용하고, 특징 수준에서 의미 감독을 통합하여 장면 표현을 향상시킨다.
• 이중 단계 최적화 파이프라인을 활용한다: 먼저 2D 의미 특징을 직접 전파를 통해 3D로 이동시키고, 이후 기하학적, 사진적, 의미적 제약 조건을 통합하여 공동으로 개선한다.

실험 결과

연구 질문

• RQ1 3D 가우시안 표현은 정확한 3D 의미 맵핑을 가능하게 하며 실시간 밀도 있는 의미적 SLAM을 효과적으로 확장할 수 있는가?
• RQ2 의미 특징 임베딩을 2D에서 3D 공간으로 효율적으로 전파하여 무한한 범위의 빠른 의미 최적화를 가능하게 할 수 있는가?
• RQ3 특징 수준의 손실은 3D 가우시안 기반 장면 표현에서 의미 분할 정확도와 수렴 속도를 향상시킬 수 있는가?
• RQ4 전통적인 기하학적 배치 조정 대비 의미 기반 배치 조정은 누적 추적 드리프트를 얼마나 감소시킬 수 있는가?
• RQ5 의미 제약 조건의 통합은 새로운 시점의 의미 합성 및 재구성 품질을 얼마나 향상시키는가?

주요 결과

• SemGauss-SLAM은 Replica 데이터셋에서 최신 기술 수준의 mIoU 92.81을 달성하여 SNI-SLAM을 9.21%포인트 뛰어넘었다.
• room0 시나리오에서 RMSE는 0.26, Depth L1은 0.54로 저하되어 기하학적 재구성 정확도가 뛰어나다는 것을 입증했다.
• 특징 수준의 손실은 세 개의 Replica 시나리오 평균 mIoU를 2.71 포인트 향상시켰으며, 경계 및 소형 물체 분할에서 두드러진 성능 향상을 보였다.
• 의미 기반 배치 조정은 기준선 대비 RMSE를 0.09 감소시키고 Depth L1을 0.14 감소시켜 추적 및 기하학적 정확도 향상에 기여함을 입증했다.
• 절단 분석 결과, 드리프트 감소와 의미 정밀도 향상 측면에서 RGB나 깊이 제약 조건만 사용하는 것보다 의미 제약 조건이 훨씬 효과적임을 확인했다.
• 정성적 결과에서는 천장과 같이 관측이 어려운 영역에서 특히 뛰어난 의미적 새로운 시점 합성 성능을 보였으며, 기준선 방법에서 자주 잘못 분류되던 영역에서도 개선이 뚜렷했다.