[논문 리뷰] Camera-based vehicle velocity estimation from monocular video

Moritz Kampelmühler, Michael G. Müller외 1명|arXiv (Cornell University)|2018. 02. 20.

Autonomous Vehicle Technology and Safety참고 문헌 28인용 수 21

한 줄 요약

이 논문은 영상 추적기에서 추출한 궤적 특징에만 의존하여 딥러닝 기반의 깊이 및 운동 신호보다 우수한 경량 실시간 단안 차량 속도 추정 방법을 제안한다. 이 특징들로부터 다층 퍼셉트론을 사용해 속도를 회귀함으로써, 테스트 오차 1.12 m/s를 달성하였으며, 이는 라이다-레이더 융합 시스템(0.71 m/s)에 매우 가까운 성능이다. 이 방법은 단일 CPU에서 실행 가능한 실시간 성능을 보이며 CVPR2017 경연에서 우승하였다.

ABSTRACT

This paper documents the winning entry at the CVPR2017 vehicle velocity estimation challenge. Velocity estimation is an emerging task in autonomous driving which has not yet been thoroughly explored. The goal is to estimate the relative velocity of a specific vehicle from a sequence of images. In this paper, we present a light-weight approach for directly regressing vehicle velocities from their trajectories using a multilayer perceptron. Another contribution is an explorative study of features for monocular vehicle velocity estimation. We find that light-weight trajectory based features outperform depth and motion cues extracted from deep ConvNets, especially for far-distance predictions where current disparity and optical flow estimators are challenged significantly. Our light-weight approach is real-time capable on a single CPU and outperforms all competing entries in the velocity estimation challenge. On the test set, we report an average error of 1.12 m/s which is comparable to a (ground-truth) system that combines LiDAR and radar techniques to achieve an error of around 0.71 m/s.

연구 동기 및 목표

• 단안 영상만을 사용하여 자율주행 차량의 속도 추정 문제를 해결하고자 한다.
• 특히 궤적 기반 특징과 비교하여 딥 컨볼루션 네트워크에서 유도된 깊이 및 옵티컬 플로우 특징의 효과를 평가하고자 한다.
• 단일 CPU에서 실시간으로 실행 가능한 가벼운 회귀 모델을 개발하고자 한다.
• 궤적 기반 특징만으로도 더 복잡한 운동 및 깊이 특징을 능가할 수 있는지 확인하고자 한다.
• CVPR2017 차량 속도 추정 경연에서 최고 성능을 달성하고자 한다.

제안 방법

• 두 단계로 구성된 파이프라인: 먼저 물체 추적기가 차량 궤적을 추출하고, 이후 시간에 걸쳐 추적된 위치에서 밀도 있는 깊이 및 옵티컬 플로우를 추정하고 집계한다.
• 추적, 깊이, 옵티컬 플로우에서 유도된 특징들을 시간 차원에 따라 연결하여 시공간 특징 벡터를 구성한다.
• 다층 퍼셉트론(MLP)을 사용해 연결된 특징 벡터에서 직접적으로 차량 속도를 회귀하도록 학습한다.
• 검증 세트에서 평균 제곱오차(MSE) 기반으로 조기 정지 기법을 적용해 모델을 학습한다.
• 제거 실험을 통해 다양한 특징 조합과 거리 범위(근거리, 중거리, 원거리)에서의 성능를 비교하며, 각 범위에 대해 별도의 모델을 학습한다.
• 추론 성능를 최적화하여, 특징 추출이 주요 계산 부담이 되도록 한다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 네트워크에서 유도된 깊이 및 옵티컬 플로우 특징보다 궤적 기반 특징이 단안 차량 속도 추정에서 더 우수한가?
• RQ2 다양한 특징 조합을 사용할 경우, 근거리, 중거리, 원거리 등 다양한 거리 범위에서 성능가 어떻게 달라지는가?
• RQ3 가벼운 완전 연결 네트워크가 단일 CPU에서 실시간 추론을 수행하면서도 더 복잡한 모델보다 뛰어난 성능을 낼 수 있는가?
• RQ4 딥 러닝 기반의 운동 및 깊이 추정 성능가 단안 영상에서 정확한 속도 회귀를 위해 충분한가?
• RQ5 추적과 속도 추정을 동시에 최적화할 수 있는 단순한 엔드 투 엔드 학습 가능한 시스템을 구축할 수 있는가?

주요 결과

• 궤적 기반 특징만으로도 딥 컨볼루션 네트워크에서 유도된 깊이 및 옵티컬 플로우 특징보다 우수한 성능를 보이며, 특히 깊이 및 플로우 추정 성능이 저하되는 원거리 시나리오에서 뛰어난 내구성을 확보한다.
• 오직 추적 특징만을 사용한 모델는 테스트 오차 1.25 m/s(MSE 1.25 m²/s²)를 기록하여 CVPR2017 경연에서 1위를 차지하였다.
• 추적, 플로우, 깊이 특징을 모두 포함한 전체 모델은 테스트 오차 1.30 m/s를 기록하였으며, 추적 특징 전용 모델보다 略로 떨어지기는 했지만 여전히 경연에서 우승하였다.
• 원거리 예측(>20m)에서는 깊이 및 플로우 특징의 성능이 심각하게 저하되어 궤적 기반 특징이 더 유리한 내구성을 확보한다.
• 오직 궤적 특징만을 사용한 추론은 단일 CPU에서 100 FPS로 실행 가능하며, 전체 특징 처리는 약 2 FPS로 실행되어 경량 접근 방식의 효율성을 입증한다.
• 이 방법의 평균 오차 1.12 m/s는 라이다-레이더 기반 참값 시스템(0.71 m/s)과 0.41 m/s 이내로 매우 가까운 성능를 보이며, 단안 영상만으로도 뛰어난 성능를 달성함을 입증한다.