[논문 리뷰] Learning monocular visual odometry with dense 3D mapping from dense 3D flow

Cheng Zhao, Li Sun외 3명|arXiv (Cornell University)|2018. 03. 06.

Robotics and Sensor-Based Localization참고 문헌 2인용 수 8

한 줄 요약

이 논문은 3D 흐름 연합 레이어를 활용해 2D 광학 흐름과 예측된 깊이를 융합하여 조밀한 3D 흐름을 생성함으로써 개선된 6-DOF 자세 추정을 위한 단안 시각 옵티컬 플로우(이하 L-VO)를 위한 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이 방법은 KITTI 벤치마크에서 평균 이동 오차 2.68%와 평균 회전 오차 0.0143°/m을 달성하며 기하학적 제약 조건 대신 학습된 깊이 및 운동 사전 지식을 활용함으로써 단안 SLAM의 절대 스케일 드리프트 문제를 해결하고, 운동 상관관계를 모델링하는 이변량 정규분포 손실을 통해 스테레오 SLAM 수준의 성능에 근접한다.

ABSTRACT

This paper introduces a fully deep learning approach to monocular SLAM, which can perform simultaneous localization using a neural network for learning visual odometry (L-VO) and dense 3D mapping. Dense 2D flow and a depth image are generated from monocular images by sub-networks, which are then used by a 3D flow associated layer in the L-VO network to generate dense 3D flow. Given this 3D flow, the dual-stream L-VO network can then predict the 6DOF relative pose and furthermore reconstruct the vehicle trajectory. In order to learn the correlation between motion directions, the Bivariate Gaussian modelling is employed in the loss function. The L-VO network achieves an overall performance of 2.68% for average translational error and 0.0143 deg/m for average rotational error on the KITTI odometry benchmark. Moreover, the learned depth is fully leveraged to generate a dense 3D map. As a result, an entire visual SLAM system, that is, learning monocular odometry combined with dense 3D mapping, is achieved.

연구 동기 및 목표

• 단안 SLAM을 위한 완전한 엔드 투 엔드 딥 러닝 시스템을 개발하여 시각 옵티컬 플로우 및 조밀한 3D 매핑을 동시에 수행한다.
• 기하학적 제약 조건 대신 학습된 깊이 및 운동 사전 지식을 활용해 단안 SLAM의 절대 스케일 드리프트 문제를 해결한다.
• 2D 광학 흐름과 예측된 깊이를 융합해 조밀한 3D 흐름을 생성함으로써 6-DOF 자세 추정 정확도를 향상시킨다.
• 수작업으로 구성된 기하학적 제약 조건과 도메인 특화 캘리브레이션에 의존하는 것을 줄이고, 기하학적 일관성을 확보하기 위해 미분 가능한 손실 함수를 통해 운동 상관관계를 학습한다.
• 실시간으로 깊이 융합 및 OctoMap 기반 볼륨 표현을 활용해 고품질의 조밀한 3D 매핑을 생성한다.

제안 방법

• 2D 광학 흐름과 예측된 깊이에서 유도된 조밀한 3D 흐름을 입력으로 사용하여 6-DOF 카메라 운동을 예측하는 이중 스트림 L-VO 네트워크를 학습한다.
• 3D 흐름 연합 레이어는 2D 흐름과 깊이 이미지를 융합하여 3D 공간에서 기하학적 추론이 가능한 조밀한 3D 흐름을 생성한다.
• 이동 성분 간 상관관계를 모델링하기 위해 이변량 정규분포 손실 함수를 도입하여 운동 일관성을 향상시킨다.
• KITTI 데이터셋의 진짜 자세를 사용해 지도 학습 방식으로 네트워크를 학습하며, 깊이 예측에 대해 하위 네트워크를 통한 지도 supervision을 제공한다.
• 다중 프레임 간 깊이 융합 및 효율적인 온라인 매핑을 위한 OctoMap 기반 볼륨 표현을 통해 조밀한 3D 매핑을 실현한다.
• ROS 기반으로 시스템을 구현하고, NVIDIA Titan GPU에서 텐서플로우를 사용해 학습하며 실시간 추론을 지원한다.

실험 결과

연구 질문

• RQ1 기하학적 사전 지식(예: 카메라 높이)을 활용하지 않고도 완전한 엔드 투 엔드 딥 러닝 시스템이 기하학적 제약 조건 없이 경쟁 가능한 단안 시각 옵티컬 플로우 성능을 달성할 수 있는가?
• RQ2 2D 광학 흐름과 예측된 깊이를 3D 흐름으로 융합하는 것이 2D 흐름만 사용할 경우에 비해 6-DOF 자세 추정 성능을 얼마나 향상시키는가?
• RQ3 학습된 이변량 정규분포 손실 함수가 운동 일관성과 궤적 정확도 향상에 얼마나 기여하는가?
• RQ4 학습된 단안 SLAM 시스템이 스테레오 SLAM 시스템 수준의 조밀하고 고해상도의 3D 매핑을 생성할 수 있는가?
• RQ5 특히 움직이는 물체가 흐름을 지배하는 상황에서 동적인 환경과 고속 주행에 대해 이 방법은 얼마나 견고한가?

주요 결과

• 제안된 L-VO(3D) 모델은 KITTI 오도메트리 벤치마크에서 평균 이동 오차 2.68%와 평균 회전 오차 0.0143°/m을 달성하며 대부분의 단안 SLAM 방법을 능가한다.
• 3D 흐름 융합에 깊이 흐름을 포함시킴으로써 2D 흐름 크기가 약한 저속 주행 시나리오에서 성능 향상이 이루어진다.
• 이변량 정규분포 손실 함수는 직선 주행 및 코너 주행에서 특히 운동 일관성을 향상시켜 드리프트를 감소시킨다.
• L-VO(3D) 모델은 L-VO(2D)보다 스테레오 SLAM에 더 가까운 성능을 보이며, 3D 기하학적 추론의 이점을 입증한다.
• 깊이 융합 및 OctoMap를 활용해 조밀하고 깔끔한 3D 매핑을 생성하며, 날카로운 물체 경계와 낮은 노이즈를 확보한다.
• 높은 계산 비용과 데이터셋 편향에도 불구하고, 모델은 새로운 시퀀스(예: KITTI 11–21)에 대해 일반화되며 정성적으로 타당한 궤적을 생성한다.