[논문 리뷰] SGS-SLAM: Semantic Gaussian Splatting For Neural Dense SLAM

Mingrui Li, Shuhong Liu외 5명|arXiv (Cornell University)|2024. 02. 05.

Robotics and Sensor-Based Localization인용 수 8

한 줄 요약

SGS-SLAM은 3D 가우시안 스플래팅을 사용하여 외관, 기하학 및 2D 시맨틱 프라이어를 함께 최적화하는 의미론적 밀도 비주얼 SLAM 시스템으로, 실시간 렌더링, 정확한 3D 시맨틱 분할, 객체 수준의 씬 편집을 가능하게 한다.

ABSTRACT

We present SGS-SLAM, the first semantic visual SLAM system based on Gaussian Splatting. It incorporates appearance, geometry, and semantic features through multi-channel optimization, addressing the oversmoothing limitations of neural implicit SLAM systems in high-quality rendering, scene understanding, and object-level geometry. We introduce a unique semantic feature loss that effectively compensates for the shortcomings of traditional depth and color losses in object optimization. Through a semantic-guided keyframe selection strategy, we prevent erroneous reconstructions caused by cumulative errors. Extensive experiments demonstrate that SGS-SLAM delivers state-of-the-art performance in camera pose estimation, map reconstruction, precise semantic segmentation, and object-level geometric accuracy, while ensuring real-time rendering capabilities.

연구 동기 및 목표

• NeRF와 같은 과도한 매끄러짐을 극복하고 실시간 렌더링과 객체 수준 편집을 가능하게 하기 위해 명시적 가우시안 표현을 활용한 밀도 SLAM을 고무한다.
• 가우시안들로 외관, 깊이/기하, 시맨틱 신호를 함께 융합하는 다중 채널 최적화 프레임워크를 제안한다.
• 지도 품질과 누적 오차에 대한 강건성을 향상시키기 위해 의미론적 특징 손실과 의미 인식 기반의 키프레임 선택을 도입한다.
• 합성 및 실제 데이터 세트에서 실시간 렌더링과 함께 추적, 매핑 및 3D 시맨틱 분할에서 최첨단 성능을 입증한다.
• 시맨틱 라벨에 연결된 가우시안 그룹을 조작하여 씬 편집과 같은 다운스트림 기능을 시연한다.

제안 방법

• 장면을 기하학, 외관, 시맨틱 채널을 갖는 명시적 3D 가우시안 복사도 필드로 표현한다.
• 미분가능한 스플래팅과 깊이 인식되는 프런트-투-백 합성(최대 체적 렌더링)을 통해 2D로 가우시안 렌더링한다.
• 실루엣 기반 가시성 마스킹을 포함한 깊이, 색상, 2D 시맨틱 재투영을 결합한 다중 채널 손실 L_tracking를 사용한다.
• 가우시안의 밀도화를 통해 지도를 재구성하고, 깊이, 색(SSIM 기반), 시맨틱 색 항을 결합한 매핑 손실로 기하, 외관, 시맨틱 채널을 동시에 최적화한다.
• 기하학적 중첩과 의미-MIoU 차이에 기초한 2단계 키프레임 선택 전략을 도입하여 추적과 매핑의 안정화를 도모한다.
• 전체 모델 재훈련 없이 시맨틱 라벨에 해당하는 가우시안 그룹을 편집하여 객체 수준 씬 편집을 가능하게 한다.

Figure 1: The illustration of the proposed SGS-SLAM. It employs 2D inputs encompassing appearance, geometry, and semantic information, leveraging Gaussian Splatting and differentiable rendering for multi-channel parameter optimization. During the mapping process, SGS-SLAM maps the 2D semantic prior

실험 결과

연구 질문

• RQ1 다중 채널 감독으로 최적화된 3D 가우시안 밀도 표현이 고충실도 렌더링과 정확한 3D 시맨틱 분할을 달성할 수 있는가?
• RQ2 키프레임 선택에 시맨틱 정보를 도입하면 시간에 따른 SLAM의 강건성과 지도 품질이 개선되는가?
• RQ3 시맨틱 가이드 최적화가 객체 수준의 기하학 및 다운스트림 씬 편집 작업에 어떤 영향을 미치는가?
• RQ4 합성 및 실제 데이터에서 실시간 SLAM을 위한 명시적 가우시안 표현의 성능 및 메모리 영향은 무엇인가?
• RQ5 SGS-SLAM이 트래킹, 매핑 및 분할 정확도 면에서 NeRF 기반 시맨틱 SLAM 접근법과 비교하여 어떤 차이를 보이는가?

주요 결과

• SGS-SLAM은 Replica/ScanNet 유사 벤치마크에서 논문의 실험에서 트래킹(ATE RMSE) 및 매핑(Depth L1, PSNR) 지표에서 최첨단 또는 선도적인 성능을 달성한다.
• 다중 채널 최적화를 통한 명시적 가우시안 표현은 경계 보존이 높고 선명한 객체 경계를 제공하여 NeRF 과도한 매끄러짐을 완화한다.
• 2D 시맨틱 프라이어를 명시적 채널로 도입하면 3D 시맨틱 분할 정확도가 개선되며 NeRF 기반 시맨틱 SLAM 베이스라인 대비 향상이 보고된다.
• 시맨틱-가이드 키프레임 선택과 불확실성 가중치는 누적 추적 오류로 인한 드리프트와 잘못된 재구성을 감소시킨다.
• 가우시안 조작을 통한 씬 편집(예: 시맨틱 라벨이 붙은 객체의 제거/변형)은 전체 모델 재훈련 없이도 실시간으로 가능하며, 분리된 가우시안 표현 덕분이다.

Figure 2: Qualitative comparison of our method and the baselines for reconstruction across three scenes from the Replica Dataset Straub et al. ( 2019 ) , with key details accentuated using colorful boxes. The results demonstrate that our method delivers more high-fidelity and robust reconstructions,