[논문 리뷰] How NeRFs and 3D Gaussian Splatting are Reshaping SLAM: a Survey

Fabio Tosi, Youmin Zhang외 5명|arXiv (Cornell University)|2024. 02. 20.

Robotics and Sensor-Based Localization인용 수 16

한 줄 요약

이 설문조사는 방사장(radiance-field) 영감을 받은 방법을 통해 SLAM의 진전을 검토하며, Neural Radiance Fields (NeRF)와 3D Gaussian Splatting (3DGS)에 초점을 맞추고, 최근 80개의 시스템을 정리하여 강점, 한계, 향후 과제를 도출한다.

ABSTRACT

Over the past two decades, research in the field of Simultaneous Localization and Mapping (SLAM) has undergone a significant evolution, highlighting its critical role in enabling autonomous exploration of unknown environments. This evolution ranges from hand-crafted methods, through the era of deep learning, to more recent developments focused on Neural Radiance Fields (NeRFs) and 3D Gaussian Splatting (3DGS) representations. Recognizing the growing body of research and the absence of a comprehensive survey on the topic, this paper aims to provide the first comprehensive overview of SLAM progress through the lens of the latest advancements in radiance fields. It sheds light on the background, evolutionary path, inherent strengths and limitations, and serves as a fundamental reference to highlight the dynamic progress and specific challenges.

연구 동기 및 목표

• Radiance-field 표현(NeRF 및 3DGS)에 의해 주도되는 최신 SLAM 진전을 조사한다.
• 지난 3년간 발표된 80개의 SLAM 시스템을 분류하고 분석한다.
• 복사장 기반 SLAM에서의 강점, 한계 및 향후 연구 방향을 식별한다.
• 이 진화하는 분야에서 연구자와 실무자들을 위한 참조 프레임워크를 제공한다.

제안 방법

• 복사장-필드 이론 및 표현(암시적, 명시적, 하이브리드)을 설명한다.
• NeRF와 3DGS의 기초와 SLAM에 어떻게 적용되는지 설명한다.
• 복사장 SLAM 평가에서 사용되는 데이터셋과 벤치마크를 검토한다.
• NeRF/3DGS-영감 SLAM 방법의 분류체계를 제시하고 설계 선택(추적 대 매핑, 서브맵, 다이나믹스, 프라이어)을 비교한다.
• 매핑, 추적, 뷰 합성 및 시맨틱스에 걸친 평가 지표를 요약한다.

실험 결과

연구 질문

• RQ1 SLAM을 가능하게 하는 주요 방사장 표현은 어떤 것들이며(암시적 NeRF, 명시적 격자, 3D Gaussian Splats) 그들은 어떻게 비교되는가?
• RQ2 NeRF와 3D Gaussian Splatting이 프레임 간 대 프레임-프레임? 프레임-모델? SLAM 파이프라인에 어떻게 통합되었고, 그에 따른 트레이드오프는 무엇인가?
• RQ3 이 방사장-기반 SLAM 시스템을 평가하는 데 사용되는 데이터셋, 벤치마크 및 지표는 무엇인가?
• RQ4 NeRF/3DGS 구동 SLAM의 현재 한계와 열려 있는 도전 과제는 무엇이며, 어떤 미래 방향이 제시되는가?
• RQ5 이 접근 방식은 동적 환경, 확장성 및 실시간 요건에서 어떻게 성능을 발휘하는가?

주요 결과

• 방사장-기반 SLAM은 연속적인 표면 모델링과 더 촘촘하고 컴팩트한 맵의 가능성을 제공한다.
• NeRF와 3DGS는 속도, 메모리, 빈 공간 처리에서 서로 다른 트레이드오프를 가진 뚜렷한 렌더링 및 기하 표현을 제공한다.
• 본 조사는 최근에 발표된 80개의 SLAM 시스템을 다루며 빠른 진전과 다양한 설계 전략(서브-맵, 다이나믹스 처리, 프라이어)을 강조한다.
• 평가는 매핑 정확도, 추적 정확도(ATE), 뷰 합성 품질(PSNR, SSIM, LPIPS)에 대한 표준 SLAM 지표에 의존한다.
• 2021–2024년 사이 방사장-영감 SLAM으로의 명확한 전환이 있었으며, 데이터셋, 벤치마크, 코드 등 도구 이용이 증가하고 있다.
• 조사는 NeRF/3DGS-구동 SLAM 방법을 조직하기 위한 구조화된 분류체계를 제시하고 실용적인 한계 및 연구 격차를 지적한다.