[논문 리뷰] FMapping: Factorized Efficient Neural Field Mapping for Real-Time Dense RGB SLAM

Tongyan Hua, Haotian Bai외 2명|arXiv (Cornell University)|2023. 06. 01.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

FMapping는 깊이 센서 없이 실시간 밀도 높은 RGB SLAM을 위한 인과적 신경 필드 매핑 프레임워크를 제안한다. 이는 매핑 불확실성을 줄이고 효율성을 높이며, 깊이 센서 없이도 작동한다. 장면 표현을 낮은 차원의 잠재 공간으로 분해하고, 안정적인 초기화를 위해 슬라이딩 윈도우 샘플러를 사용함으로써, 20배 적은 파라미터로 iMAP보다, 1000배 적은 파라미터로 NICE-SLAM보다 더 높은 정밀도의 실시간 색상 점군 재구성에 성공한다. 이는 오직 PyTorch만을 사용하여 약 2초에 20프레임을 처리한다.

ABSTRACT

In this paper, we introduce FMapping, an efficient neural field mapping framework that facilitates the continuous estimation of a colorized point cloud map in real-time dense RGB SLAM. To achieve this challenging goal without depth, a hurdle is how to improve efficiency and reduce the mapping uncertainty of the RGB SLAM system. To this end, we first build up a theoretical analysis by decomposing the SLAM system into tracking and mapping parts, and the mapping uncertainty is explicitly defined within the frame of neural representations. Based on the analysis, we then propose an effective factorization scheme for scene representation and introduce a sliding window strategy to reduce the uncertainty for scene reconstruction. Specifically, we leverage the factorized neural field to decompose uncertainty into a lower-dimensional space, which enhances robustness to noise and improves training efficiency. We then propose the sliding window sampler to reduce uncertainty by incorporating coherent geometric cues from observed frames during map initialization to enhance convergence. Our factorized neural mapping approach enjoys some advantages, such as low memory consumption, more efficient computation, and fast convergence during map initialization. Experiments on two benchmark datasets show that our method can update the map of high-fidelity colorized point clouds around 2 seconds in real time while requiring no customized CUDA kernels. Additionally, it utilizes x20 fewer parameters than the most concise neural implicit mapping of prior methods for SLAM, e.g., iMAP [ 31] and around x1000 fewer parameters than the state-of-the-art approach, e.g., NICE-SLAM [ 42]. For more details, please refer to our project homepage: https://vlis2022.github.io/fmap/.

연구 동기 및 목표

• 깊이 센서 없이 실시간 밀도 높은 RGB SLAM을 수행할 때 발생하는 매핑 불확실성과 계산 비용이라는 주요 장애 요소를 해결하기 위해.
• 특히 자원 제약이 있는 환경에서 신경 암시적 매핑의 메모리 및 계산 오버헤드를 줄이기 위해.
• 다중 프레임에서 유도된 일관된 기하학적 단서를 활용하여 매핑 초기화 동안의 강건성과 수렴 성능을 향상시키기 위해.
• 신경 표현 기반 SLAM 내에서 매핑 불확실성을 이론적으로 분석하고 분해할 수 있는 프레임워크를 수립하기 위해.
• 깊이 감독 없이 오직 RGB 입력만을 사용하여 실시간으로 고정밀도의 연속적인 색상 점군 재구성을 달성하기 위해.

제안 방법

• 인과적 신경 필드 표현을 도입하여 장면 불확실성을 낮은 차원의 잠재 공간으로 분해함으로써 노이즈에 대한 강건성과 학습 효율성을 향상시킨다.
• 매핑 초기화 중 시간적으로 일관된 프레임에서 기하학적 단서를 통합하기 위해 슬라이딩 윈도우 샘플러를 제안한다. 이는 수렴 성능 향상과 불확실성 감소에 기여한다.
• 프레임워크는 점진적인 RGB 관측에서 학습된 잠재 특징에 조건부 후행 확률을 최대화하는 방식으로 매핑을 정의한다.
• 인과 표현은 NICE-SLAM 대비 최대 ×1000, iMAP 대비 최대 ×20의 파라미터 수 감소를 이끌어내어 효율적인 추론을 가능하게 한다.
• 특수 CUDA 커널을 사용하지 않고 표준 PyTorch만으로도 실시간으로 구동되며, 벤치마크 시퀀스에서 20프레임당 2.01초의 처리 시간을 기록한다.
• 메서드는 깊이 감독 없이 오직 색상 기울기만을 사용하여 자세 및 기하 구조 최적화를 수행하는 완전한 RGB 전용 설정에서 평가되었다.

실험 결과

연구 질문

• RQ1 깊이 없는 밀도 높은 RGB SLAM에서 매핑 불확실성은 신경 표현 프레임워크 내에서 어떻게 이론적으로 모델링되고 분해될 수 있는가?
• RQ2 신경 필드 표현에서 어떤 인과 전략이 재구성 정밀도를 훼손하지 않으면서도 파라미터 수를 줄이고 학습 효율을 향상시킬 수 있는가?
• RQ3 슬라이딩 윈도우 샘플링 전략은 초기 재구성 단계에서 매핑 초기화를 어떻게 향상시키고 불확실성을 줄일 수 있는가?
• RQ4 인과적 신경 필드는 iMAP 및 NICE-SLAM과 같은 SOTA 방법과 비교해 볼 때, 최소한의 메모리 및 계산 자원으로 실시간 성능를 얼마나 잘 달성할 수 있는가?
• RQ5 깊이 감독 없이 오직 RGB 입력만을 사용하여 실시간으로 고정밀도의 연속적인 색상 점군 재구성을 달성할 수 있는가?

주요 결과

• FMapping는 20프레임당 2.01초의 처리 시간을 기록하여 실시간 매핑을 달성하며, 고정밀도의 연속적인 색상 점군 재구성을 가능하게 한다.
• 메서드는 0.01백만 개의 파라미터를 사용하며, iMAP(-) 대비 20배 감소하고 NICE-SLAM 대비 1000배 감소하여 메모리 프로파일을 크게 낮춘다.
• Replica 데이터셋 전반에서 평균 완성도 비율은 79.8%를 기록했으며, iMAP(-) 대비 거의 2배 높은 완성도 비율을 확보했고, 재구성 정밀도 면에서도 뛰어난 성능을 보였다.
• 3D 점당 필요 계산량은 80.64×10³ FLOPs로, iMAP의 계산 비용의 1/5에 불과하여 뛰어난 계산 효율성을 입증했다.
• 특수 CUDA 커널 없이도 실시간 추론을 구현했으며, 오직 표준 PyTorch만을 사용하여 DIM-SLAM가 특화된 가속 기법이 필요한 것과 대비된다.
• 정성 평가에서 FMapping는 SLAM 전체 과정 동안 일관되고 완전하며 정확한 재구성을 제공하는 반면, iMAP(-)는 장시간 시퀀스에서 기하 구조 재구성을 실패했다.