[논문 리뷰] CNN-SLAM: Real-time dense monocular SLAM with learned depth prediction

Keisuke Tateno, Federico Tombari외 2명|arXiv (Cornell University)|2017. 04. 11.

Robotics and Sensor-Based Localization참고 문헌 23인용 수 70

한 줄 요약

CNN-SLAM은 CNN로 예측된 밀도 깊이 맵을 단일 뷰에서 실시간으로 스케일 인식 가능한 조밀한 모노큘러 재구성 및 의미 융합으로 가능하게 하는 모노큘러 SLAM과 CNN 예측 깊이를 결합합니다.

ABSTRACT

Given the recent advances in depth prediction from Convolutional Neural Networks (CNNs), this paper investigates how predicted depth maps from a deep neural network can be deployed for accurate and dense monocular reconstruction. We propose a method where CNN-predicted dense depth maps are naturally fused together with depth measurements obtained from direct monocular SLAM. Our fusion scheme privileges depth prediction in image locations where monocular SLAM approaches tend to fail, e.g. along low-textured regions, and vice-versa. We demonstrate the use of depth prediction for estimating the absolute scale of the reconstruction, hence overcoming one of the major limitations of monocular SLAM. Finally, we propose a framework to efficiently fuse semantic labels, obtained from a single frame, with dense SLAM, yielding semantically coherent scene reconstruction from a single view. Evaluation results on two benchmark datasets show the robustness and accuracy of our approach.

연구 동기 및 목표

• CNN으로 예측된 깊이 맵을 활용해 모노큘러 SLAM의 스케일 불명확성과 희소성 문제를 해결한다.
• Dense 재구성을 위한 CNN 깊이와 직접 모노큘러 SLAM을 결합하는 융합 프레임워크를 제안한다.
• 난이도 높은 조건(저질감, 회전)에서 스케일 보정 카메라 포즈 추정 및 강 robust 추적을 가능하게 한다.
• Dense 모노큘러 SLAM에 의미 레이블을 융합해 의미적으로 일관된 3D 장면으로 확장한다.

제안 방법

• CNN(ResNet-50 백본 및 업샘플링)으로 키 프레임에 대한 밀도 깊이 맵을 깊이 회귀용으로 학습한다.
• 초점 길이 스케일링 계수를 통해 카메라 내부 매개변수 차이에 따른 CNN 깊이를 보정한다.
• CNN 신뢰도와 프레임 간 일관성으로 깊이 불확실성 맵을 계산한다.
• 현재 프레임과 인접한 키 프레임을 이용한 근소 기초선 스테레오 매칭으로 CNN 깊이를 정제한다.
• 포즈 그래프 최적화를 통해 키 프레임 간 깊이 및 불확실성 맵을 융합해 밀도 3D 모델을 구축한다.
• 선택적으로 의미 분할 네트워크를 학습시키고 프레임 단위 의미 라벨을 Global Segmentation Model을 통해 3D 모델에 융합한다.

실험 결과

연구 질문

• RQ1 CNN 예측 깊이가 외부 사전 지식 없이도 절대 스케일의 정확한 모노큘러 SLAM을 가능하게 할 수 있는가?
• RQ2 CNN 깊이를 직접 모노큘러 SLAM과 융합하면 저질감 영역에서 포즈 정확도와 깊이 밀도를 향상시키는가?
• RQ3 전통적인 스테레오 깊이 추정이 실패하는 순수 회전 모션에서도 프레임워크가 견고하게 동작하는가?
• RQ4 단일 시점에서 모노큘러 밀도 SLAM 재구성에 의미 라벨을 얼마나 효과적으로 융합할 수 있는가?

주요 결과

• 본 방법은 여러 시퀀스에서 다수의 모노큘러 SLAM 베이스라인보다 포즈 궤적 정확도가 더 높게 나타났다.
• CNN 예측에서 정제된 밀도 깊이 맵은 순수 CNN 기반 또는 전통적 SLAM 방식보다 더 높은 밀도와 정확도를 달성했다.
• 작은 기반선 스테레오를 통한 깊이 정제는 깊이 에지의 선명도와 CNN 예측의 흐림을 감소시켜 재구성 품질을 향상시켰다.
• 메서드는 순수 회전 모션에서도 견고한 성능을 유지했으며, 이는 기반선 기반 깊이 추정이 문제를 일으키는 상황에서 유리하다.
• 의미 라벨은 3D 재구성에 융합되어 의미적으로 일관된 장면 모델을 생성한다.