[논문 리뷰] Photo-SLAM: Real-time Simultaneous Localization and Photorealistic Mapping for Monocular, Stereo, and RGB-D Cameras

Huajian Huang, Longwei Li외 2명|arXiv (Cornell University)|2023. 11. 28.

Robotics and Sensor-Based Localization인용 수 5

한 줄 요약

Photo-SLAM은 3D 기하 특징(ORB, SH 계수)과 묵시적 신경 렲영을 결합한 하이퍼 프리미티브 지도를 도입하여 단안, 스테레오, RGB-D 카메라에서 실시간, 사진 수준의 정확도를 갖춘 SLAM을 구현한다. 3D 가우시안 스플래터링과 새로운 가우시안-피라미드 기반 학습 방법을 사용함으로써 PSNR에서 최고 성능을 달성하고, 임베디드 플랫폼인 Jetson AGX Orin에서도 실시간으로 구동된다.

ABSTRACT

The integration of neural rendering and the SLAM system recently showed promising results in joint localization and photorealistic view reconstruction. However, existing methods, fully relying on implicit representations, are so resource-hungry that they cannot run on portable devices, which deviates from the original intention of SLAM. In this paper, we present Photo-SLAM, a novel SLAM framework with a hyper primitives map. Specifically, we simultaneously exploit explicit geometric features for localization and learn implicit photometric features to represent the texture information of the observed environment. In addition to actively densifying hyper primitives based on geometric features, we further introduce a Gaussian-Pyramid-based training method to progressively learn multi-level features, enhancing photorealistic mapping performance. The extensive experiments with monocular, stereo, and RGB-D datasets prove that our proposed system Photo-SLAM significantly outperforms current state-of-the-art SLAM systems for online photorealistic mapping, e.g., PSNR is 30% higher and rendering speed is hundreds of times faster in the Replica dataset. Moreover, the Photo-SLAM can run at real-time speed using an embedded platform such as Jetson AGX Orin, showing the potential of robotics applications.

연구 동기 및 목표

• 묵시적 표현에 크게 의존하고 신경 해법기를 사용하는 기존 신경 SLAM 시스템의 높은 계산 비용과 낮은 이식성 문제를 해결한다.
• 자원 제약이 있는 이동형 및 임베디드 플랫폼에서 실시간, 사진 수준의 정확도를 갖춘 지도 제작과 정위치를 가능하게 한다.
• 묵시적 표현만을 사용하는 것의 한계를 극복하기 위해 명시적 기하 특징과 학습된 광학적 특징을 통합한다.
• 증분적이고 온라인으로 구축 가능한 확장성 있고 효율적이며 고정밀도의 지도 제작 시스템을 개발한다.
• 특히 단안 환경에서 밀도 있는 깊이 정보를 제공하지 않는 상황에서도 고속 렌더링과 고품질을 달성하면서도 밀도 기반 깊이 감독에 의존하지 않는다.

제안 방법

• ORB 기능, 회전, 스케일, 밀도, 그리고 구면 조화(SH) 계수를 저장하는 3D 포인트로 구성된 하이퍼 프리미티브 지도를 유지한다. 이는 광학적 표현을 위한 기초가 된다.
• 레이어 샘플링 대신 3D 가우시안 스플래터링을 사용하여 빠르고 미분 가능한 렌더링을 수행함으로써 재구성 비용을 감소시키고 실시간 성능를 확보한다.
• 2D 기하 특징(예: ORB 코너)을 기반으로 하이퍼 프리미티브를 능동적으로 추가하는 기하 기반 밀도화 전략을 도입하여 정위치 및 지도 커버리지 향상을 도모한다.
• 다중 척도에서의 특징을 점진적으로 학습하는 가우시안-피라미드 기반(GP) 학습 방법을 제안하여 질감 세부 정보와 지도 정밀도를 향상시킨다.
• 정위치를 위한 요소 그래프 솔버와 사진 수준의 정확도를 위한 미분 가능한 렌더링 손실을 사용하여 백프로파게이션을 통한 최적화를 수행한다.
• 고성능 임베디드 플랫폼(예: Jetson AGX Orin)에서 실행 가능한 C++ 및 CUDA 기반으로 전체 시스템을 구현한다.

실험 결과

연구 질문

• RQ1 하이퍼 프리미티브를 활용한 명시적-묵시적 혼합 표현 방식이, 고비용 신경 해법기나 묵시적 표현에만 의존하는 학습 방식 없이도 실시간 사진 수준의 정확도를 갖춘 SLAM을 가능하게 할 수 있는가?
• RQ2 기하 기반 밀도화 전략은 단안 및 희박한 깊이 환경에서 지도 품질과 정위치 정확도를 어떻게 향상시키는가?
• RQ3 가우시안-피라미드 기반 학습 방식은 다중 척도에서 특징 표현과 지도 제작 성능에 얼마나 기여하는가?
• RQ4 시스템은 고정밀도나 확장성에 손실을 입히지 않고도 임베디드 하드웨어에서 고 PSNR와 실시간 렌더링(예: 1000 FPS 이상)을 달성할 수 있는가?
• RQ5 기존 최고 수준의 신경 SLAM 시스템과 비교했을 때, 제안된 방법은 정위치 정확도, 렌더링 속도, 모델 효율성 측면에서 어떤가?

주요 결과

• Photo-SLAM은 Replica RGB-D 데이터셋에서 PSNR 34.958을 달성하여 이전 최고 성능 방법 대비 30% 향상된 성능을 보였다.
• Replica 데이터셋에서 최대 1084 FPS로 렌더링하며, 이는 이전 방법 대비 수백 배 빠른 렌더링 속도를 확보했다.
• 단안 설정에서 Photo-SLAM은 PSNR 33.302, 렌더링 속도 911.3 FPS를 기록했으며, 기하 기반 밀도화나 GP 학습을 제거한 아블레이션 모델보다 뚜렷한 성능 향상을 보였다.
• 3단계의 가우시안-피라미드 기반 학습 방법이 품질과 효율성의 최적 균형을 이룬 반면, 4단계는 과적합을 유발하고 성능 저하를 초래했다.
• 시스템은 Jetson AGX Orin 임베디드 플랫폼에서 실시간으로 구동되어 로봇 응용 분야의 실현 가능성을 입증했다.
• 아블레이션 연구 결과, 기하 기반 밀도화와 GP 학습이 모두 필수적임을 확인했으며, 둘 중 하나를 제거할 경우 PSNR가 1.6점 이상 떨어지고 렌더링 속도도 감소했다.