[논문 리뷰] A Review of Visual Odometry Methods and Its Applications for Autonomous Driving

Kai Li Lim, Thomas Bräunl|arXiv (Cornell University)|2020. 09. 19.

Robotics and Sensor-Based Localization참고 문헌 95인용 수 9

한 줄 요약

이 논문은 자율주행을 위한 단안, 스테레오, 시각-자이로스코픽 시각 옵오메트리(VO) 방법을 검토하며, 운동 추정 및 자기 위치 추정에 응용하는 데 중점을 둔다. 저비용, 고정도의 임베디드 시스템에서의 VO 추세를 강조하고 실제 환경에서의 구현에 직면한 과제를 밝히며, 시뮬레이션 데이터셋에 의존함에도 불구하고 실용적 구현의 필요성을 제기한다.

ABSTRACT

The research into autonomous driving applications has observed an increase in computer vision-based approaches in recent years. In attempts to develop exclusive vision-based systems, visual odometry is often considered as a key element to achieve motion estimation and self-localisation, in place of wheel odometry or inertial measurements. This paper presents a recent review to methods that are pertinent to visual odometry with an emphasis on autonomous driving. This review covers visual odometry in their monocular, stereoscopic and visual-inertial form, individually presenting them with analyses related to their applications. Discussions are drawn to outline the problems faced in the current state of research, and to summarise the works reviewed. This paper concludes with future work suggestions to aid prospective developments in visual odometry.

연구 동기 및 목표

• 자율주행 응용에 특화된 최근의 시각 옵오메트리 방법을 분석하기 위해.
• 현재 VO 연구의 한계를 특정하기, 특히 데이터셋 기반 평가와 실제 환경 구현 사이의 격차에 초점 맞추기.
• 정확도, 하드웨어 비용, 계산 부담 측면에서 단안, 스테레오, 시각-자이로스코픽 VO 간의 상호 교환 관계를 검토하기 위해.
• 저전력 임베디드 시스템에 VO를 구현하는 것이 실용적 자율주행 차량 사용에 가능할지 평가하기 위해.
• 실제 환경 테스트 플랫폼과 VO 개발에서 향상된 하드웨어-소프트웨어 통합의 필요성을 부각하기 위해.

제안 방법

• 센서 구성에 따라 시각 옵오메트리의 형태를 단안, 스테레오, 시각-자이로스코픽으로 분류한다.
• 특징 기반 및 직접(외관 기반) VO 기법을 검토하며, 특징 추출(SIFT, SURF, ORB, FAST)과 추적(예: PTAM)을 포함한다.
• 동적인 환경에서 운동 추정 및 이방성 점수 제거를 위해 광학 흐름과 RANSAC의 사용을 분석한다.
• 자이로스코픽 측정 장치(IMU)를 시각 데이터와 통합하여 정확도를 향상시키고 드리프트를 줄이는 방법을 평가한다.
• KITTI 및 TUM와 같은 공개 데이터셋이 VO 알고리즘의 벤치마킹에 어떻게 기여하는지 검토한다.
• 계산 요구 사항과 하드웨어 제약 조건을 평가하며, 특히 실시간 구현을 위한 NVIDIA Jetson과 같은 임베디드 시스템으로의 전환 경향을 다룬다.

실험 결과

연구 질문

• RQ1 자율주행을 위한 단안, 스테레오, 시각-자이로스코픽 시각 옵오메트리 방법은 정확도와 내구성 측면에서 어떻게 비교될 수 있는가?
• RQ2 자율주행 차량에서 시각 옵오메트리의 실제 환경 구현을 제한하는 주요 과제는 무엇인가?
• RQ3 KITTI와 같은 공개 데이터셋이 다양한 실제 주행 환경에서의 VO 성능을 신뢰할 수 있는 지표로 제공하는 데까지 어느 정도의 신뢰도를 가진다?
• RQ4 계산 제약 조건은 임베디드 시스템과 고성능 GPU 간의 VO 배포 가능성에 어떻게 영향을 미치는가?
• RQ5 센서 융합(예: IMU와의 융합)과 이방성 점수 제거 기법(예: RANSAC)은 시각 옵오메트리 성능 향상에 어떤 역할을 하는가?

주요 결과

• 단안 시각 옵오메트리의 경우 PTAM과 같은 알고리즘의 발전 덕분에 스케일 모호성 문제를 감안할지라도 2차원 영상 시퀀스에서 3차원 재구성 가능성이 높아져 인기를 끌고 있다.
• 스테레오 시각 옵오메트리의 경우 더 나은 깊이 추정과 더불어 단안 시각 옵오메트리보다 더 높은 내구성을 제공하지만, 더 복잡한 하드웨어와 校정이 필요하다.
• 시각-자이로스코픽 융합은 특히 동적인 환경나 특징이 부족한 환경에서 정확도를 크게 향상시키고 드리프트를 줄이는 데 기여한다.
• KITTI와 같은 벤치마크 데이터셋에서 높은 성능을 보였음에도 불구하고, 대부분의 VO 방법은 높은 비용과 규제 장벽로 인해 실제 환경 검증을 받지 못하고 있다.
• NVIDIA Jetson과 같은 임베디드 시스템은 실시간 VO에 실현 가능한 플랫폼으로 부상하고 있으나, 여전히 워크스테이션급 GPU 성능에 미치지 못하고 있다.
• 저전력, 임베디드 환경에 최적화된 경량이고 효율적인 VO 알고리즘으로의 추세가 확산되고 있으며, 이는 실용적인 자율주행 차량 통합으로 향하는 전환을 암시한다.