[논문 리뷰] WGANVO: Monocular Visual Odometry based on Generative Adversarial Networks

Javier Cremona, Lucas C. Uzal외 1명|arXiv (Cornell University)|2020. 07. 27.

Robotics and Sensor-Based Localization참고 문헌 31인용 수 5

한 줄 요약

WGANVO는 워셔스타인 GAN에 기울기 보정을 적용한(WGAN-GP) 방법을 사용하여 이미지 쌍으로부터 카메라 자세를 엔드 투 엔드 방식으로 회귀하는 단안 시각적 오도메트리 방법을 제안한다. 비지도 적인 적대적 훈련과 지도 학습 기반 자세 회귀를 융합함으로써 사전 지식 없이 절대 스케일을 복원하며, KITTI 데이터셋에서 실시간 성능과 경쟁 가능한 정확도를 달성한다.

ABSTRACT

In this work we present WGANVO, a Deep Learning based monocular Visual Odometry method. In particular, a neural network is trained to regress a pose estimate from an image pair. The training is performed using a semi-supervised approach. Unlike geometry based monocular methods, the proposed method can recover the absolute scale of the scene without neither prior knowledge nor extra information. The evaluation of the system is carried out on the well-known KITTI dataset where it is shown to work in real time and the accuracy obtained is encouraging to continue the development of Deep Learning based methods.

연구 동기 및 목표

• 기하 기반 방법에서 내재된 스케일 모호성 문제를 해결하는 딥러닝 기반의 단안 시각적 오도메트리 시스템을 개발하는 것.
• 생성 적대적 네트워크를 활용해 비지도 학습을 통해 특징을 학습하면서도, 절대 스케일 복원을 위한 지도 학습 기반 자세 회귀를 가능하게 하는 것.
• 외부 센서나 사전 校정 지식 없이도 표준 벤치마크(예: KITTI)에서 실시간 추론과 견고한 성능을 달성하는 것.
• WGAN-GP가 적대적 신호와 지도 학습 신호를 융합한 안정적인 훈련 프레임워크로써 시각적 오도메트리에 얼마나 효과적인지 탐색하는 것.
• 향후 연구에서 카메라 파라미터 통합을 통해 다양한 카메라 설정 간의 모델 일반화 능력을 향상시키는 것.

제안 방법

• 모델은 디스커미네이터가 실제 이미지 쌍과 생성된 이미지 쌍을 구분하도록 훈련되며, 고차원의 시각적 표현을 학습하는 WGAN-GP 아키텍처를 사용한다.
• 동일한 디스커미네이터가 이미지 쌍에서 상대적 카메라 자세(회전 및 이동)를 회귀하는 데 재사용되어 엔드 투 엔드 훈련이 가능해진다.
• KITTI 데이터셋의 참값 자세를 사용하여, 적대적 손실(WGAN-GP)과 지도 학습 기반 자세 회귀 손실을 결합한 준지도 학습 방식을 적용한다.
• 자세 회귀 손실은 허버 손실($L_{\beta}$) 또는 스무스 L1 손실($L_p$)로 구현되며, 최적 성능을 위해 하이퍼파라미터를 조정한다.
• SIFT를 사용해 스테레오 쌍에서 특징을 추출하고, 삼각측량 및 DLT 알고리즘을 통해 3D 점을 재구성하여 KITTI 시퀀스의 이미지 쌍으로 네트워크를 훈련한다.
• 훈련은 두 단계로 진행되며, 10,000회 반복의 적대적 사전 훈련 이후, Adam 옵timizer를 사용해 $10^{-4}$ 학습률로 40,000회 반복의 지도 학습 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 GAN 기반 아키텍처가 기하 기반 사전 지식 없이도 정확한 단안 시각적 오도메트리에 필요한 충분한 시각적 표현을 학습할 수 있는가?
• RQ2 적대적 신호와 지도 학습 신호를 융합한 준지도 학습이 단안 VO에서 자세 추정 정확도와 스케일 복원 능력을 향상시키는가?
• RQ3 손실 함수의 선택(허버 vs. 스무스 L1)이 실제 시퀀스에서 모델의 성능과 내구성에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 KITTI와 같은 표준 벤치마크에서 경쟁 가능한 정확도를 유지하면서도 실시간 추론을 달성할 수 있는가?
• RQ5 모델은 얼마나 다양한 카메라 설정에 일반화될 수 있으며, 카메라 캘리브레이션을 통합함으로써 이 능력을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 KITTI 데이터셋에서 실시간 추론을 달성하며, 모든 시퀀스에서 프레임 처리 시간이 일관되게 100ms 이하로 유지된다.
• 사전 지식이나 추가 센서 없이도 절대 스케일을 성공적으로 복원하여, 전통적 단안 VO의 핵심 한계를 극복한다.
• $L_{\beta}$와 $L_p$ 손실 모두 유사한 성능를 보이며, $L_{\beta}$는 하이퍼파라미터 조정($\beta=100$)이 필요로 하지만 $L_p$는 이를 고려할 필요 없이 더 내구성이 있다.
• 시퀀스 00에서 이동 오차는 100m당 10.54%, 회전 오차는 3.22°를 기록하며, 다른 시퀀스에서도 유사한 성능를 보였다.
• 준지도 학습 방식은 적대적 사전 훈련을 통해 레이블이 없는 데이터를 효과적으로 활용하여 특징 표현과 일반화 능력을 향상시켰다.
• 결과적으로 GAN 기반 아키텍처가 시각적 오도메트리에 효과적으로 적용될 수 있음을 보여주며, 향후 엔드 투 엔드 딥러닝 접근법에 대한 잠재력을 보여준다.