[논문 리뷰] End-to-end Learning of Driving Models from Large-scale Video Datasets

Huazhe Xu, Yang Gao외 2명|arXiv (Cornell University)|2016. 12. 04.

Autonomous Vehicle Technology and Safety참고 문헌 27인용 수 38

한 줄 요약

이 논문은 대규모 커뮤니티 기반 드라이브캠 영상에서 종량성 주행 정책을 끝에서 끝까지 학습하는 엔드 투 엔드 FCN-LSTM 아키텍처를 제안한다. 단일 영상과 이전 상태로부터 향후 이동 방향의 다중모드 예측을 수행한다. 의미 분할을 특수한 보조 과제로 활용함으로써, 보류된 시퀀스에서 운전 행동 예측 성능이 향상되어 퍼플렉서티와 정확도 모두에서 베이스라인을 능가한다.

ABSTRACT

Robust perception-action models should be learned from training data with diverse visual appearances and realistic behaviors, yet current approaches to deep visuomotor policy learning have been generally limited to in-situ models learned from a single vehicle or a simulation environment. We advocate learning a generic vehicle motion model from large scale crowd-sourced video data, and develop an end-to-end trainable architecture for learning to predict a distribution over future vehicle egomotion from instantaneous monocular camera observations and previous vehicle state. Our model incorporates a novel FCN-LSTM architecture, which can be learned from large-scale crowd-sourced vehicle action data, and leverages available scene segmentation side tasks to improve performance under a privileged learning paradigm.

연구 동기 및 목표

• 특정 차량 캘리브레이션에 의존하지 않고 다양한 주행 조건에서 일반화 가능한 엔드 투 엔드 훈련 가능한 시각-운동 정책을 개발하는 것.
• 시뮬레이션이나 현장 기록 대신 대규모로 캘리브레이션되지 않은 커뮤니티 기반 영상 데이터에서 학습할 수 있도록 하는 것.
• 의미 분할을 특수 학습 신호로 통합하여 이동 예측 성능을 향상시키는 것.
• 일반적인 주행 모델을 훈련시키기에 적합한 대규모로 다양한 주행 조건을 포함한 데이터셋을 정제하고 공개하는 것.
• 다양한 실제 시나리오에서 보류된 시퀀스에 대해 향후 주행 행동 예측 능력을 평가하는 것.

제안 방법

• 모델은 단일 영상 프레임과 이전 차량 상태를 처리하여 향후 이동 방향의 분포를 예측하는 새로운 FCN-LSTM 아키텍처를 사용한다.
• 다중 과제 학습 프레임워크를 통해 주행 행동 예측(운동 손실)과 의미 분할(보조 과제 손실)을 동시에 최적화한다.
• 사전 훈련된 완전 컨volution 네트워크(FCN)의 특징과 LSTM을 통합하여 주행 시퀀스의 시간적 의존성을 모델링한다.
• 훈련 중에 BDD 데이터셋의 분할 마스크를 보조 지도로 사용하는 특수 학습 파라다임을 적용한다.
• 모델은 다양한 주행 조건에서 수집한 1,000개의 영상 클립으로 구성된 정제된 데이터셋에서 훈련되며, 운동 손실과 분할 손실에 동일한 가중치를 적용한다.
• 예측 출력에는 이산 행동 클래스(예: 좌회전, 직진)와 연속적인 방향 확률 맵이 포함된다.

실험 결과

연구 질문

• RQ1 특정 시뮬레이션이나 차량 캘리브레이션에 의존하지 않고, 대규모로 캘리브레이션되지 않은 커뮤니티 기반 드라이브캠 영상에서 종량성 주행 정책을 학습할 수 있는가?
• RQ2 의미 분할을 특수 보조 과제로 통합함으로써 엔드 투 엔드 이동 예측 성능가 어떻게 향상되는가?
• RQ3 복잡한 조작(예: 다중 모드 전환, 정지-출발 행동)을 포함한 다양한 주행 시나리오에 일반화할 수 있는가?
• RQ4 보조 과제(의미 분할)와 함께 최적화하면 운동 전용 지도보다 더 빠르고 정확한 학습이 이루어지는가?
• RQ5 다양한 실제 조건에서 보류된 테스트 시퀀스에 대해 향후 행동을 얼마나 잘 예측할 수 있는가?

주요 결과

• 특수 학습 접근법은 이산 행동 예측에서 퍼플렉서티 0.697과 정확도 72.4%를 달성하여, 운동 반사 접근법(퍼플렉서티 0.718, 정확도 71.31%)을 능가했다.
• 의미 분할과 행동 예측을 별도로 훈련하는 중재된 인지 접근법은 성능이 열악했으며(퍼플렉서티 0.8887, 정확도 61.66%), 이는 엔드 투 엔드 공동 학습의 이점이 있음을 확인한다.
• 모델은 좌회전 또는 직진과 같은 다중모드 행동을 성공적으로 예측했으며, 전환을 완료한 후에는 단일 모드로 수렴하여 적절한 행동 모델링을 보였다.
• 장애물이나 신호등이 있는 상황에서는 시각적 단서가 모호하더라도 특수 모델이 정지 행동을 정확히 예측했고, 베이스라인 방법과는 대조적으로 정확했다.
• 안전하지 않은 행동(예: 보도 근처 오른쪽 전환)에 대해 모델은 확률을 0으로 설정하여, 행동 예측에 공간적 및 맥락적 인식이 있음을 보여주었다.
• 의미 분할을 보조 과제로 통합함으로써 일반화 능력과 수렴 속도가 크게 향상되었으며, 특히 데이터가 적은 환경에서 두드러졌다.