[논문 리뷰] Visual Odometry Revisited: What Should Be Learnt?

Huangying Zhan, Chamara Saroj Weerasekera외 2명|arXiv (Cornell University)|2019. 09. 21.

Advanced Vision and Imaging참고 문헌 62인용 수 11

한 줄 요약

이 논문은 자기지도 학습 기반의 CNN을 사용해 단일 시야 깊이와 광학 흐름을 중간 출력으로 예측함으로써 딥러닝과 기하학적 제약 조건을 융합하는 단일망 시각 온도메트리 시스템인 DF-VO를 제안한다. 이러한 예측을 바탕으로 2D-2D 및 3D-2D 대응 관계를 수립함으로써, 순수한 딥러닝 또는 기하학 기반 접근 방식보다 뛰어난 정확도와 강건성을 확보하면서도, 스케일 일관성 있는 깊이 감독을 통해 스케일 드리프트를 제거한다.

ABSTRACT

In this work we present a monocular visual odometry (VO) algorithm which leverages geometry-based methods and deep learning. Most existing VO/SLAM systems with superior performance are based on geometry and have to be carefully designed for different application scenarios. Moreover, most monocular systems suffer from scale-drift issue.Some recent deep learning works learn VO in an end-to-end manner but the performance of these deep systems is still not comparable to geometry-based methods. In this work, we revisit the basics of VO and explore the right way for integrating deep learning with epipolar geometry and Perspective-n-Point (PnP) method. Specifically, we train two convolutional neural networks (CNNs) for estimating single-view depths and two-view optical flows as intermediate outputs. With the deep predictions, we design a simple but robust frame-to-frame VO algorithm (DF-VO) which outperforms pure deep learning-based and geometry-based methods. More importantly, our system does not suffer from the scale-drift issue being aided by a scale consistent single-view depth CNN. Extensive experiments on KITTI dataset shows the robustness of our system and a detailed ablation study shows the effect of different factors in our system.

연구 동기 및 목표

• 6DoF 운동 모호성으로 인해 기하학 기반 시스템에서 지속적으로 발생하는 스케일 드리프트 문제를 해결한다.
• 유리한 조건에서 기하학 기반 방법의 신뢰성과 정확도를 떨어뜨리는 엔드 투 엔드 딥러닝 온도메트리 시스템의 한계를 극복한다.
• 딥러닝 예측(깊이 및 광학 흐름)과 전통적인 기하학적 방법(에피포라 기하학, PnP) 간의 최적의 통합을 탐색하여 강력한 프레임 간 온도메트리 성능을 확보한다.
• 자기지도 학습 기반의 깊이 및 흐름 네트워크를 통한 중간 단계 감독이 스케일 일관성과 향상된 성능을 가능하게 하며, 전체 엔드 투 엔드 학습 없이도 이를 달성할 수 있음을 입증한다.

제안 방법

• 스케일 일관성을 강제하기 위해 깊이 일관성 손실를 사용하는 단일 시야 깊이 예측을 위한 별도의 CNN을 훈련한다.
• 전방-후방 광학 흐름 일관성을 필터링 기준으로 삼아 고품질의 2D-2D 특징 대응 관계를 선택한다.
• 예측된 깊이와 광학 흐름을 조합하여 2D 매칭에서 3D-2D 대응 관계를 생성함으로써, 강력한 PnP 기반 자세 추정을 가능하게 한다.
• 단일망 또는 스테레오 시퀀스에서 훈련된 스케일 일관성 깊이 예측 네트워크를 적용하여 단일망 시스템에 내재된 스케일 모호성을 해결한다.
• 정제된 2D-2D 및 3D-2D 매칭을 사용해 프레임 간 PnP 알고리즘을 적용하여 상대 카메라 자세를 추정함으로써 장거리 시퀀스에서의 드리프트를 최소화한다.
• 광학적 왜곡 손실를 사용해 지도 학습 없이도 진짜 자세나 깊이에 의존하지 않는 자기지도 학습을 수행한다.

실험 결과

연구 질문

• RQ1 딥러닝 예측(깊이 및 광학 흐름)을 전통적인 기하학적 방법과 효과적으로 융합하여 단일망 시각 온도메트리 성능을 향상시킬 수 있는가?
• RQ2 스케일 일관성 깊이 예측 네트워크를 사용할 경우, 기존의 표준 기하학 기반 시스템 대비 단일망 온도메트리에서 이동 드리프트를 현저히 줄일 수 있는가?
• RQ3 하이브리드 딥러닝-기하 온도메트리 시스템의 성능은 표준 벤치마크에서 순수한 딥러닝 및 순수한 기하학 기반 기준선과 비교해 어떻게 되는가?
• RQ4 다른 훈련 방식(단일망 대비 스테레오, 자기지도 학습 대비 지도 학습)이 최종 온도메트리 시스템의 강건성과 정확도에 어떤 영향을 미치는가?

주요 결과

• DF-VO는 KITTI 데이터셋에서 순수한 딥러닝 기반 및 기하학 기반 방법보다 모두 뛰어난 성능을 보이며, 모든 시퀀스에서 가장 낮은 상대 자세 오차(RPE)를 기록한다.
• 스케일 일관성 깊이 모델을 사용한 시스템(Mono-SC Train.)은 스테레오 훈련 모델과 유사한 성능을 보이며, 여전히 단일망임을 유지하면서 스케일 드리프트를 효과적으로 제거한다.
• 장거리 시퀀스에서 ORB-SLAM2는 스케일 모호성으로 인해 심한 이동 드리프트를 보이지만, DF-VO는 낮은 드리프트를 유지함으로써 스케일 일관성 깊이 감독의 효과를 입증한다.
• 절단 분석 결과, 흐름 일관성 필터링과 고해상도 입력이 자세 추정 정확도를 향상시키며, 해상도 증가로 인해 명확한 성능 향상이 관찰된다.
• 시퀀스 01에서 실패한 점을 제외하고도, 딥러닝 방법은 그 기하학 기반 시스템보다 뛰어난 성능을 보이며, 하이브리드 시스템에서의 상호보완 잠재력을 시사한다.
• 깊이 및 흐름 예측을 모두 사용하는 전체 알고리즘은 PnP 전용 변형보다 뚜렷이 뛰어난 성능을 보이며, 다중 모odal 딥러닝 감독의 가치를 입증한다.