[논문 리뷰] Aggressive Deep Driving: Model Predictive Control with a CNN Cost Model

Paul Drews, Grady Williams외 3명|arXiv (Cornell University)|2017. 07. 17.

Autonomous Vehicle Technology and Safety참고 문헌 22인용 수 31

한 줄 요약

이 논문은 단일 렌즈 카메라 영상에서 직접 상단 시점(cost map)을 예측하는 딥 컨volution 신경망(CNN)을 사용하여 공격적인 자율 주행을 위한 시각 기반 모델 예측 제어(MPC) 프레임워크를 제안한다. 이 방법은 GPS 없이도 고속 주행을 가능하게 하며, 실시간으로 해석 가능한 주행 가능성 표현을 학습함으로써 강력한 궤적 최적화를 지원한다. 평균 랩 타임은 9.74초로, GPS 보조 기반 기준보다 단지 0.39초 뒤처지며, 이미지 평면 회귀 대비 12% 랩 타임 효율성에서 뛰어난 성능을 기록한다.

ABSTRACT

We present a framework for vision-based model predictive control (MPC) for the task of aggressive, high-speed autonomous driving. Our approach uses deep convolutional neural networks to predict cost functions from input video which are directly suitable for online trajectory optimization with MPC. We demonstrate the method in a high speed autonomous driving scenario, where we use a single monocular camera and a deep convolutional neural network to predict a cost map of the track in front of the vehicle. Results are demonstrated on a 1:5 scale autonomous vehicle given the task of high speed, aggressive driving.

연구 동기 및 목표

• GPS 또는 사전 매핑된 환경에 의존하지 않고 단일 렌즈 시각과 차량 내 센서만을 사용하여 공격적이고 고속의 자율 주행을 가능하게 하기 위해.
• 시각 입력을 직접 주행 가능성 cost map로 매핑하는 실시간, 엔드 투 엔드 학습 가능한 시스템을 개발하기 위해.
• 직접 상단 시점(조감도) cost map을 예측하는 것이 이미지 평면 회귀보다 제어 성능과 내구성 측면에서 우수한가를 조사하기 위해.
• 사용자 주행 데이터를 활용한 훈련을 통해 다양한 주행 작업으로의 일반화를 입증하기 위해.

제안 방법

• 전체 컨volution 신경망이 단일 단일 렌즈 영상에서 트랙의 상단 시점 cost map을 예측하도록 훈련되며, 주행 가능한 영역과 장애물을 표현한다.
• 예측된 cost map이 실시간 궤적 최적화를 위한 샘플링 기반 모델 예측 제어(MPPI) 알고리즘에 직접 입력된다.
• 비용 지도 감독을 위해 자동으로 생성된 애너테이션을 포함한 대규모 인간-인터랙션 데이터셋을 사용해 네트워크를 훈련시킨다.
• 시스템은 GPS 또는 SLAM을 통한 국소화 없이 단일 렌즈 카메라 영상, 차량 속도 및 관성 측정값만을 입력으로 사용한다.
• 상단 시점 cost map 덕분에 카메라의 시야 외부에 위치한 트랙 기하학적 구조, 예를 들어 직접 보이지 않는 커브까지도 사전 인지할 수 있다.
• 이 방법은 작업에 종속되지 않는 훈련을 지원한다. 인간 주행 데이터로 훈련된 네트워크는 분리된, 해석 가능한 cost 표현 덕분에 다양한 제어 목표로 일반화된다.

실험 결과

연구 질문

• RQ1 딥 CNN이 단일 렌즈 영상에서 상단 시점 주행 가능성 cost map을 예측할 수 있는가? 이는 GPS 없이도 고속, 공격적인 MPC 기반 주행을 가능하게 하는가?
• RQ2 실제 자율 주행 차량에서 상단 시점 cost map을 직접 예측하는 것이 이미지 평면 회귀보다 제어 성능과 내구성 측면에서 뛰어나다고 할 수 있는가?
• RQ3 인간 주행 데이터로 훈련된 단일 신경망이 다양한 주행 작업으로 얼마나 잘 일반화되는가?
• RQ4 카메라의 시야 외부까지 예측할 수 있는 네트워크의 능력이 제어 성능에 어떤 영향을 미치는가?
• RQ5 학습된 해석 가능한 cost 표현이 자율 주행에서 실패 진단 및 시스템 해석 가능성 향상에 기여하는가?

주요 결과

• 상단 시점 CNN 기반 cost map 예측이 1:5 스케일 자율 차량에서 평균 9.74초의 랩 타임을 기록했으며, GPS 보조 시스템(9.74초)과 동일한 성능을 보였고, 기준치보다 단지 0.39초 뒤처졌다.
• 이미지 평면 회귀 네트워크는 최대 평균 랩 타임 14.48초를 기록했으며, 상단 시점 접근 방식보다 4.74초 느렸다. 이는 일반화 능력 부족과 제한된 전방 주시 능력 때문이었다.
• 상단 시점 네트워크는 기준치 대비 17%의 랩 타임 손실을 기록했고, 이미지 평면 네트워크는 29%의 손실을 기록하여 우수한 성능과 내구성을 입증했다.
• 상단 시점 네트워크는 카메라의 시야 외부의 주행 가능한 영역까지 성공적으로 예측하여 MPC 제어기가 커브를 효과적으로 계획할 수 있도록 했다.
• 고속 주행(최대 8 m/s) 상황에서도 간섭에 강건했으며, 차량의 주행 한계에 접근할 때도 안정적인 궤적을 유지했다.
• 실패 사례는 해석 가능한 cost map 덕분에 진단 가능했다. 예를 들어, 오른쪽 커브를 왼쪽 커브로 잘못 분류한 경우, 예측된 지apap에서 명확하게 시각적으로 드러났다.