[논문 리뷰] UnDeepVO: Monocular Visual Odometry through Unsupervised Deep Learning

Ruihao Li, Sen Wang외 2명|arXiv (Cornell University)|2017. 09. 20.

Robotics and Sensor-Based Localization참고 문헌 19인용 수 48

한 줄 요약

UnDeepVO는 단안 시각 올림포지어 시스템으로, 비지도 학습을 통해 절대 척도 복구 기능을 갖춘 6-DoF 카메라 자세 및 조밀한 깊이 맵을 추정한다. 공간적 및 시간적 기하 구속 조건을 활용해 레이블이 없는 스테레오 이미지 쌍으로 훈련시켜, 지도 학습 레이블이나 후처리 척도 校정이 필요 없이 KITTI 데이터셋에서 최신 기술 수준의 단안 올림포지어 성능을 달성한다.

ABSTRACT

We propose a novel monocular visual odometry (VO) system called UnDeepVO in this paper. UnDeepVO is able to estimate the 6-DoF pose of a monocular camera and the depth of its view by using deep neural networks. There are two salient features of the proposed UnDeepVO: one is the unsupervised deep learning scheme, and the other is the absolute scale recovery. Specifically, we train UnDeepVO by using stereo image pairs to recover the scale but test it by using consecutive monocular images. Thus, UnDeepVO is a monocular system. The loss function defined for training the networks is based on spatial and temporal dense information. A system overview is shown in Fig. 1. The experiments on KITTI dataset show our UnDeepVO achieves good performance in terms of pose accuracy.

연구 동기 및 목표

• 지상 진동 자세나 깊이 레이블에 의존하지 않고 절대 척도를 복구할 수 있는 단안 시각 올림포지어 시스템을 개발하는 것.
• 스테레오 이미지 쌍을 활용한 비지도 학습을 통해 깊이 신경망을 훈련시켜 자세 및 깊이 추정을 동시에 수행하는 것.
• 추론 시 단안 이미지 시퀀스로부터 정확한 6-DoF 자세 및 조밀한 깊이 예측을 가능하게 하는 것.
• 대규모 레이블이 없는 데이터셋에서의 비지도 사전 훈련을 통해 운동 왜곡 및 조명 변화와 같은 도전적인 조건에 대한 강건성을 향상시키는 것.
• 비지도 훈련 단계에서 척도 복구를 통합함으로써 후처리 척도 校정이 필요 없도록 하는 것.

제안 방법

• 자세 추정을 위해 VGG 기반의 CNN 아키텍처를 사용하며, 이동과 회전을 별도의 완전 연결층으로 예측함으로써 회전 및 이동 손실의 가중 정규화를 가능하게 한다.
• 깊이 추정을 위해 U-Net 유사한 인코더-디코더 네트워크를 사용하여 스테레오 훈련 데이터로부터 절대 척도를 갖춘 조밀한 깊이 맵을 생성한다.
• 비지도 훈련을 가능하게 하기 위해 공간적 사진 일致성(좌우 이미지 워핑)과 시간적 사진 일치성(프레임 간 이미지 재구성)을 조합한 손실 함수를 사용한다.
• 훈련 시 스테레오 이미지 쌍을 사용해 절대 척도를 복구하고, 모델은 단안 시퀀스에서 테스트되어 캘리브레이션된 척도를 갖춘 단안 추론이 가능하다.
• 사진 재구성 손실과 깊이 매끄러움 정규화를 조합하여 엔드 투 엔드로 네트워크를 훈련시켜 일반화 능력을 향상시킨다.
• 스테레오 기하학을 통해 척도 정렬이 훈련 과정에서 암묵적으로 학습되며, 명시적 지도 없이 척도 인식 출력을 예측할 수 있다.

실험 결과

연구 질문

• RQ1 스테레오 이미지 쌍에 대한 비지도 훈련을 통해 단안 시각 올림포지어 시스템이 절대 척도 복구를 달성할 수 있는가?
• RQ2 비지도 학습을 통해 레이블이 없는 스테레오 데이터만을 사용할 때 깊이 신경망이 6-DoF 자세 및 조밀한 깊이 추정을 얼마나 잘 수행할 수 있는가?
• RQ3 공간적 및 시간적 기하 구속 조건의 통합이 지상 진동 레이블이 없는 상황에서 단안 올림포지어 성능을 얼마나 향상시키는가?
• RQ4 제안된 비지도 방법이 KITTI 데이터셋에서 자세 및 깊이 정확도 측면에서 지도 학습 및 다른 비지도 기반 기준 대비 어떻게 비교되는가?
• RQ5 스케일 校정 또는 루프 클로징이 필요 없이 실제 단안 시퀀스로 일반화 가능한가?

주요 결과

• UnDeepVO는 KITTI 데이터셋에서 단안 올림포지어 방법 중 최고의 성능을 기록하였으며, 100m당 평균 이동 RMSE 드리프트는 0.76%이며, 회전 RMSE 드리프트는 0.32°/100m였다.
• 후처리 없이 스케일이 적용된 6-DoF 자세 및 조밀한 깊이 맵을 생성하였으며, 척도 복구가 없는 비지도 방법보다 뛰어난 성능을 보였다.
• KITTI 깊이 추정 벤치마크에서 UnDeepVO는 절대 상대 오차(Abs Rel) 0.183을 기록하여 SfMLearner(0.208)를 초월했으며, Eigen 등(0.214)의 지도 학습 방법과 유사한 성능을 보였다.
• KITTI 데이터셋의 시퀀스 00–10에서 평가된 모든 방법 중에서 UnDeepVO의 추정 궤적은 지상 진동과 가장 유사한 품질을 보였다.
• 지상 진동이 없는 시퀀스 11–21에 대해서도 UnDeepVO의 궤적 성능은 스테레오 기반 VISO2-S 시스템과 유사하여, 새로운 데이터에 대한 강력한 일반화 능력을 보였다.
• 훈련에 KITTI 데이터셋의 일부만을 사용했음에도 불구하고 경쟁 가능한 깊이 추정 결과를 달성하였으며, 더 큰 규모의 비지도 사전 훈련을 통해 향상 가능성이 있음을 시사한다.