[논문 리뷰] DeepVO: A Deep Learning approach for Monocular Visual Odometry

Vikram Mohanty, Shubh Agrawal외 4명|arXiv (Cornell University)|2016. 11. 18.

Robotics and Sensor-Based Localization참고 문헌 31인용 수 45

한 줄 요약

이 논문은 단일 카메라 영상 쌍에서 컨볼루션 네트워크(CNN)를 사용해 직접 카메라 운동을 회귀함으로써 기존의 특징 검출 및 추적 절차를 생략하는 딥러닝 프레임워크인 DeepVO를 제안한다. 환경 사전 지식이 있는 조건에서 카메라 내부 파라미터와 깊이 정보를 종합적으로 학습함으로써 실시간으로 스케일 인식이 가능한 궤적 추정을 구현하며, 환경 사전 지식이 존재할 경우 기하학적 방법보다 높은 정확도를 달성한다.

ABSTRACT

Deep Learning based techniques have been adopted with precision to solve a lot of standard computer vision problems, some of which are image classification, object detection and segmentation. Despite the widespread success of these approaches, they have not yet been exploited largely for solving the standard perception related problems encountered in autonomous navigation such as Visual Odometry (VO), Structure from Motion (SfM) and Simultaneous Localization and Mapping (SLAM). This paper analyzes the problem of Monocular Visual Odometry using a Deep Learning-based framework, instead of the regular 'feature detection and tracking' pipeline approaches. Several experiments were performed to understand the influence of a known/unknown environment, a conventional trackable feature and pre-trained activations tuned for object classification on the network's ability to accurately estimate the motion trajectory of the camera (or the vehicle). Based on these observations, we propose a Convolutional Neural Network architecture, best suited for estimating the object's pose under known environment conditions, and displays promising results when it comes to inferring the actual scale using just a single camera in real-time.

연구 동기 및 목표

• 기존의 특징 기반 시각 옹구오메트리의 한계, 특히 스케일 모호성과 누적 오차 문제를 해결하기 위해.
• 딥러닝이 특징 추출이나 추적을 명시적으로 수행하지 않고도 영상 시퀀스에서 직접 카메라 자세를 추정할 수 있는지 탐색하기 위해.
• 환경 지식, 사전 학습된 특징, 기하학적 사전 정보(예: FAST)가 네트워크 성능에 미치는 영향을 조사하기 위해.
• 단일 카메라만을 사용해 실시간으로 스케일 인식이 가능한 시각 옹구오메트리를 가능하게 하여 고전적 기하학적 접근의 핵심 한계를 극복하기 위해.

제안 방법

• 연속된 영상 쌍 간의 6-DoF 카메라 운동(이동 및 회전)을 회귀하기 위해 맞춤형 CNN 아키텍처를 학습한다.
• 네트워크는 두 개의 연속된 RGB 영상을 입력으로 받아 그 사이의 상대 변환 행렬을 출력한다.
• 라벨이 부여된 궤적 데이터를 기반으로 지도 학습을 수행하며, 표준 역전파 알고리즘을 사용해 손실을 최소화한다.
• 세 가지 설정에서 모델을 평가한다: 사전 지식이 있는 환경(사전 지식 있음), 사전 지식이 없는 환경(사전 지식 없음), 사전 지식이 있는 FAST 특징이 포함된 환경.
• 사전 학습된 ImageNet 특징(예: AlexNet에서 유도된 것)을 초기화로 사용해 테스트했지만, 시각 옹구오메트리에선 효과적이지 않음을 발견했다.
• 환경에 특화된 데이터로 네트워크를 미세 조정하여 일반화 능력을 향상시키고 시간이 지남에 따라 누적 오차를 줄이도록 한다.

실험 결과

연구 질문

• RQ1 특징 검출 및 추적 파이프라인에 의존하지 않고도 딥 컨볼루션 네트워크가 직접 단일 카메라 영상에서 시각 옹구오메트리를 추정할 수 있는가?
• RQ2 환경에 대한 사전 지식이 딥러닝 기반 시각 옹구오메트리 시스템의 성능에 어떤 영향을 미치는가?
• RQ3 객체 분류 작업에서 사전 학습된 특징을 시각 옹구오메트리에 효과적으로 전이할 수 있는가?
• RQ4 기존의 추적 가능한 특징(예: FAST)을 사전 정보로 추가하면 미지 환경에서의 성능 향상이 이루어지는가?
• RQ5 명시적 깊이 감독 없이도 단일 카메라 시퀀스에서 스케일 정보를 네트워크가 학습할 수 있는가?

주요 결과

• 사전 지식이 있는 환경에서는 궤적 편차와 손실이 유의미하게 낮아지고, 반복 과정 동안 훈련 및 테스트 손실이 안정적으로 수렴한다.
• 사전 지식이 있는 환경에서는 실시간으로 진짜 스케일을 추정할 수 있으며, 이는 고전적 기하학적 방법으로는 달성할 수 없는 능력이다.
• 미지 환경에서는 성능이 크게 떨어지며, 환경에 특화된 사전 지식에 강하게 의존하고 있음을 시사한다.
• 미지 환경에서 FAST 특징을 사전 정보로 추가해도 성능 향상이 없었으며, 이는 네트워크가 유사한 특징을 자율적으로 학습하고 있음을 시사한다.
• 사전 학습된 ImageNet 특징은 시각 옹구오메트리에 잘 일반화되지 않아, 도메인 특화된 특징 학습이 필수적임을 보여준다.
• 장시간 시퀀스에서 오차가 누적되는 경향이 있어, 누적 오차를 보정하기 위해 순환 구조가 필요할 것임을 시사한다.