[논문 리뷰] ESLAM: Efficient Dense SLAM System Based on Hybrid Representation of Signed Distance Fields

Mohammad Mahdi Johari, Camilla Carta외 1명|arXiv (Cornell University)|2022. 11. 21.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

ESLAM은 다중 척도 축에 평행한 특징 평면과 잘라내기 거리 함수(TSDF)를 활용한 하이브리드 신경망 표현을 사용하여, 사전 훈련 없이도 빠르고 정확한 밀도 있는 SLAM 시스템을 제안한다. 이는 효율적인 3D 재구성과 카메라 위치 추정을 가능하게 하며, 최신 기술 대비 50퍼센트 이상 높은 정확도를 달성하면서도 최대 10배 빠르게 작동한다. 또한 3차원 메모리 증가 문제를 피하기 위해 2차원 특징 평면 스케일링 방식을 도입한다.

ABSTRACT

We present ESLAM, an efficient implicit neural representation method for Simultaneous Localization and Mapping (SLAM). ESLAM reads RGB-D frames with unknown camera poses in a sequential manner and incrementally reconstructs the scene representation while estimating the current camera position in the scene. We incorporate the latest advances in Neural Radiance Fields (NeRF) into a SLAM system, resulting in an efficient and accurate dense visual SLAM method. Our scene representation consists of multi-scale axis-aligned perpendicular feature planes and shallow decoders that, for each point in the continuous space, decode the interpolated features into Truncated Signed Distance Field (TSDF) and RGB values. Our extensive experiments on three standard datasets, Replica, ScanNet, and TUM RGB-D show that ESLAM improves the accuracy of 3D reconstruction and camera localization of state-of-the-art dense visual SLAM methods by more than 50%, while it runs up to 10 times faster and does not require any pre-training.

연구 동기 및 목표

• 사전 훈련 없이도 고정밀 3D 재구성 및 위치 추정 성능을 달성하는 밀도 있는 SLAM 시스템을 개발하는 것.
• 장면 크기에 비례해 메모리 증가를 3차원에서 2차원으로 줄여 확장성 향상시키는 것.
• 보간 그리드를 효율적인 특징 평면으로 대체하여 추론 및 훈련 속도 향상시키는 것.
• 특징 평면 표현 방식에서 암묵적인 부드러움을 통해 표면 품질 향상 및 강인성 향상시키는 것.
• Replica, ScanNet, TUM RGB-D 데이터셋에서 최신 기술 수준의 성능을 입증하는 것.

제안 방법

• 장면 특징을 다중 척도 축에 평행한 특징 평면을 사용해 표현하여 효율적이고 확장 가능한 3D 표현을 가능하게 한다.
• 각 3D 점에 대해 특징 평면에서의 보간을 통해 특징을 추출하고, 얕은 다층 퍼셉트론(MLP)을 통해 TSDF 및 RGB 값으로 디코딩한다.
• 빠른 수렴과 고품질 재구성을 가능하게 하기 위해 암묵적 기하 표현으로서 잘라내기 거리 함수(TSDF)를 사용한다.
• 시스템은 RGB-D 프레임을 점진적으로 처리하며 실시간으로 카메라 자세를 추정하고 장면 표현을 갱신한다.
• 기본 키 프레임 기반 메모리 메커니즘을 도입하여 이전 영역을 유지하고 재최적화함으로써 기억 상실 문제를 완화한다.
• 모델은 원시 RGB-D 입력에서부터 모든 표현을 종단 간(end-to-end)으로 학습함으로써 사전 훈련을 회피한다.

실험 결과

연구 질문

• RQ1 사전 훈련이 없는 밀도 있는 SLAM 시스템이 기존의 NeRF 기반 방법에 비해 뛰어난 정확도와 속도를 달성할 수 있는가?
• RQ2 보간 그리드를 축에 평행한 특징 평면으로 대체함으로써 메모리 증가를 줄이고 확장성을 향상시킬 수 있는가?
• RQ3 TSDF 기반 암묵적 표현 방식이 재구성 품질과 수렴 속도 측면에서 렌더링 기반 또는 점유도 기반 표현 방식을 능가할 수 있는가?
• RQ4 명시적 정규화 없이도 특징 평면 기반 접근 방식이 표면의 부드러움과 세부 정보 유지에 어떤 영향을 미치는가?
• RQ5 이 시스템은 다양한 실내 환경에서 정확도와 강인성을 얼마나 잘 유지하는가?

주요 결과

• ESLAM은 Replica, ScanNet, TUM RGB-D 데이터셋에서 최신 기술 대비 3D 재구성 및 카메라 위치 추정 정확도를 50퍼센트 이상 향상시켰다.
• 기존 방법 대비 최대 10배 빠르게 작동하며, RTX 3090 GPU를 사용할 경우 Replica에서 0.18초, ScanNet에서 0.55초의 프레임 처리 시간을 기록했다.
• 장면 크기에 비례해 메모리 증가가 2차원으로 스케일링되어, NICE-SLAM의 3차원 증가와는 달리 더 큰 장면에 대한 확장성이 향상되었다.
• TUM RGB-D 데이터셋에서 fr3/office 코너에서 ATE RMSE 2.42 cm를 기록하여 NICE-SLAM(3.02 cm)과 iMAP*(5.80 cm)를 모두 압도했다.
• 정성적 결과에서는 iMAP* 및 NICE-SLAM에 비해 더 세밀한 기하학적 세부 정보와 고품질 텍스처를 재구성하는 것으로 나타났다. 특히 복잡한 실내 환경에서 두드러진 성능을 보였다.
• 시스템은 국소화 오차가 현저히 낮고, 여러 실행 간 일관성이 높으며, 성능 지표의 표준편차가 낮아져 안정성을 입증했다.