[논문 리뷰] GO-SLAM: Global Optimization for Consistent 3D Instant Reconstruction

Youmin Zhang, Fabio Tosi외 2명|arXiv (Cornell University)|2023. 09. 05.

Advanced Vision and ImagingComputer Science인용 수 3

한 줄 요약

GO-SLAM은 온라인 루프 클로징과 포괄적 백터 조정을 통해 카메라 자세와 신경 은닉 표면 표현을 동시에 최적화함으로써 전역적으로 일관된 3D 재구성 성능을 달성하는 실시간, 딥러닝 기반의 밀도 있는 시각 SLAM 시스템을 제안한다. 이는 다중 해상도 해시 인코딩을 활용해 즉각적이고 고주파의 3D 모델 업데이트를 가능하게 하며, 단안, 스테레오, RGB-D 입력 모두에서 트래킹의 강건성과 재구성 정확도에서 최신 기술들을 능가한다.

ABSTRACT

Neural implicit representations have recently demonstrated compelling results on dense Simultaneous Localization And Mapping (SLAM) but suffer from the accumulation of errors in camera tracking and distortion in the reconstruction. Purposely, we present GO-SLAM, a deep-learning-based dense visual SLAM framework globally optimizing poses and 3D reconstruction in real-time. Robust pose estimation is at its core, supported by efficient loop closing and online full bundle adjustment, which optimize per frame by utilizing the learned global geometry of the complete history of input frames. Simultaneously, we update the implicit and continuous surface representation on-the-fly to ensure global consistency of 3D reconstruction. Results on various synthetic and real-world datasets demonstrate that GO-SLAM outperforms state-of-the-art approaches at tracking robustness and reconstruction accuracy. Furthermore, GO-SLAM is versatile and can run with monocular, stereo, and RGB-D input.

연구 동기 및 목표

• 장거리 궤적 동안 신경 은닉 SLAM 시스템에서 발생하는 카메라 드리프트와 기하학적 왜곡을 해결하기 위해.
• 단안, 스테레오 또는 RGB-D 입력을 사용하여 실시간으로 전역적으로 일관된 3D 재구성을 가능하게 하기 위해.
• 지속적인 자세와 기하학적 최적화를 위한 딥러닝 기반 SLAM 파이프라인에 효율적인 루프 클로징과 온라인 포괄적 백터 조정을 통합하기 위해.
• 전역적으로 최적화된 자세와 동기화하여 은닉 표현을 업데이트함으로써 고해상도의 연속된 표면 재구성을 유지하기 위해.
• 실시간 제약 조건 하에서 트래킹 정확도와 3D 재구성 품질에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• GO-SLAM은 다중 해상도 해시 인코딩을 활용한 신경 은닉 표현을 사용하여 압축되고 고주파의 3D 모델 업데이트를 가능하게 한다.
• 입력 프레임의 전체 역사 정보를 활용해 모든 关键 프레임 자세를 정밀하게 개선하는 온라인 포괄적 백터 조정을 통한 실시간 종단 간 전역 최적화를 수행한다.
• 효율적인 루프 클로징 메커니즘이 새로운 관측 영역을 이전에 맵핑된 영역과 정렬함으로써 궤적 드리프트를 감지하고 수정한다.
• 프레임 단위의 자세 및 깊이 변화를 지속적으로 모니터링하여 키프레임 선택을 유도함으로써 전역 일관성을 확보하기 위한 최적의 업데이트 주기를 보장한다.
• 광학적 및 기하학적 정밀도를 확보하기 위해 RGB, 깊이, SDF, Eikonal 감독을 포함한 손실 함수를 사용해 은닉 네트워크를 훈련시킨다.
• 프레임워크는 단안, 스테레오, RGB-D 입력을 모두 지원하여 다양한 센서 구성에서의 유연한 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 SLAM 시스템이 RGB 또는 RGB-D 입력만을 사용하여 실시간으로 전역적으로 일관된 3D 재구성을 달성할 수 있는가?
• RQ2 온라인 포괄적 백터 조정과 루프 클로징는 신경 은닉 표현을 사용하는 단안 SLAM에서 카메라 드리프트를 얼마나 효과적으로 줄일 수 있는가?
• RQ3 지속적이고 고주파의 3D 모델 업데이트는 재구성 정확도와 기하학적 일관성에 얼마나 기여하는가?
• RQ4 다중 해상도 해시 인코딩의 통합은 신경 은닉 SLAM의 효율성과 정밀도를 어떻게 향상시키는가?
• RQ5 실시간 추론을 달성하기 위해 프레임을 건너뛰는 상황에서도 제안된 시스템이 높은 성능을 유지할 수 있는가?

주요 결과

• GO-SLAM은 ScanNet에서 평균 ATE RMSE 7.02 cm를 달성하여, 루프 클로징 및 포괄적 BA를 적용한 베이스라인 DROID-SLAM(11.59 cm)을 크게 능가한다.
• 완전한 루프 클로징 및 온라인 포괄적 백터 조정을 통해 GO-SLAM은 Replica 데이터셋에서 평균 F-score 85.56을 기록하여 뛰어난 재구성 정확도를 입증한다.
• 8배 속도로 프레임을 건너뛰어도(F-score 85.56 → 84.41) F-score가 1.15% 감소에 그치며, 큰 시야 변화에 대한 강건성을 입증한다.
• NVIDIA RTX 3090에서 10 FPS를 유지하며 15.63 GB GPU 메모리 사용량을 기반으로 높은 정확도와 실시간 성능를 균형 있게 확보한다.
• 제거 실험을 통해 RGB, 깊이, SDF, Eikonal 손실을 모두 조합한 경우 F-score가 85.56으로 가장 우수하며, 개별 손실 구성보다 뛰어난 성능을 보였다.
• 루프 클로징만으로도 궤적 드리프트를 23.8% 감소시켜(11.59 cm → 8.83 cm) 포괄적 백터 조정을 추가로 적용하면 7.02 cm까지 향상된다.