[논문 리뷰] DeepRacing: Parameterized Trajectories for Autonomous Racing

Trent Weiss, Madhur Behl|arXiv (Cornell University)|2020. 05. 06.

Autonomous Vehicle Technology and Safety참고 문헌 39인용 수 8

한 줄 요약

이 논문은 F1 비디오 게임의 물리 모델을 활용해 고정밀 가상 테스트베드를 제공하는 오픈소스 프레임워크인 DeepRacing를 소개한다. 이는 자율 주행 에이전트의 훈련 및 평가를 위한 것으로, Bézier 곡선을 활용한 매개변수화된 경로 예측을 수행하는 새로운 엔드 투 엔드 딥러닝 모델인 AdmiralNet을 제안한다. 이 모델은 랩 타임과 실패 내성 면에서 엔드 투 엔드 제어 및 웨이포인트 예측 방식을 모두 능가하며, 내구성 테스트에서 106랩을 완주하는 데 성공했다.

ABSTRACT

We consider the challenging problem of high speed autonomous racing in a realistic Formula One environment. DeepRacing is a novel end-to-end framework, and a virtual testbed for training and evaluating algorithms for autonomous racing. The virtual testbed is implemented using the realistic F1 series of video games, developed by Codemasters, which many Formula One drivers use for training. This virtual testbed is released under an open-source license both as a standalone C++ API and as a binding to the popular Robot Operating System 2 (ROS2) framework. This open-source API allows anyone to use the high fidelity physics and photo-realistic capabilities of the F1 game as a simulator, and without hacking any game engine code. We use this framework to evaluate several neural network methodologies for autonomous racing. Specifically, we consider several fully end-to-end models that directly predict steering and acceleration commands for an autonomous race car as well as a model that predicts a list of waypoints to follow in the car's local coordinate system, with the task of selecting a steering/throttle angle left to a classical control algorithm. We also present a novel method of autonomous racing by training a deep neural network to predict a parameterized representation of a trajectory rather than a list of waypoints. We evaluate these models performance in our open-source simulator and show that trajectory prediction far outperforms end-to-end driving. Additionally, we show that open-loop performance for an end-to-end model, i.e. root-mean-square error for a model's predicted control values, does not necessarily correlate with increased driving performance in the closed-loop sense, i.e. actual ability to race around a track. Finally, we show that our proposed model of parameterized trajectory prediction outperforms both end-to-end control and waypoint prediction.

연구 동기 및 목표

• 사진 수준의 사실감과 물리적 정확도를 갖춘 F1 비디오 게임을 활용해 고속 자율 주행을 위한 현실적인 오픈소스 가상 테스트베드를 개발하기 위해.
• 폐쇄형 루프, 고정밀 시뮬레이션 환경에서 엔드 투 엔드 딥러닝 모델의 자율 주행 성능을 평가하기 위해.
• Bézier 곡선을 활용한 매개변수화된 경로 예측 방식이 직접 제어 또는 웨이포인트 기반 계획 방식보다 주행 성능을 향상시키는지 조사하기 위해.
• 오픈루프 성능 지표가 실시간 제어 시스템에서 폐쇄형 루프 레이싱 성공 여부를 신뢰성 있게 예측하지 못함을 입증하기 위해.
• 향후 다중 에이전트 레이싱 및 일상적인 자율 주행 차량으로의 민첩한 주행 행동 이행 연구를 가능하게 하기 위해.

제안 방법

• DeepRacing 프레임워크는 게임 엔진 코드를 수정하지 않고도 F1 게임의 고정밀 물리 및 그래픽을 액세스할 수 있도록 C++ API와 ROS2 통합을 제공한다.
• 실시간 제어 루프에서 추론을 위해 최근 $ C $장의 카메라 이미지를 저장하는 원형 버퍼를 사용한다.
• AdmiralNet은 이미지 시퀀스를 처리하고 매개변수화된 Bézier 곡선을 예측하기 위해 컨volutional 네트워크(CNN)와 순환 네트워크(RNN)를 조합한 하이브리드 아키텍처를 사용한다.
• Bézier 곡선은 자동차의 로컬 좌표계 내에서 부드럽고 미분 가능한 경로를 나타내는 제어점을 기반으로 정의된다.
• 고전적 제어 알고리즘이 예측된 Bézier 곡선을 기반으로 실시간 조향 및 페달 명령을 계산한다.
• 프레임워크는 폐쇄형 루프 평가를 지원하여 모델이 장애 발생 또는 완주 시까지 자동으로 트랙을 주행하도록 한다.

실험 결과

연구 질문

• RQ1 F1 시리즈와 같은 고도로 현실적인 비디오 게임 환경이 엔드 투 엔드 자율 주행 에이전트의 훈련 및 평가를 위한 신뢰할 수 있는 테스트베드로 활용될 수 있는가?
• RQ2 Bézier 곡선을 통한 매개변수화된 경로 예측 방식이 직접 엔드 투 엔드 제어 또는 웨이포인트 기반 계획 방식보다 더 나은 주행 성능을 제공하는가?
• RQ3 오픈루프 성능 정확도가 실시간 제어 시스템에서 폐쇄형 루프 레이싱 성능과 얼마나 관련이 있는가?
• RQ4 다양한 딥러닝 아키텍처가 장시간 지속되는 자율 주행 시나리오에서 얼마나 내구성이 있는가?
• RQ5 매개변수화된 경로 접근 방식이 다른 계획 방법 대비 주행 랩 타임과 실패 내성 면에서 향상시킬 수 있는가?

주요 결과

• Bézier 곡선 예측 모델은 내구성 테스트에서 106랩을 완주한 반면, 웨이포인트 예측 모델은 11랩, 엔드 투 엔드 모델은 0랩에 그쳤다.
• AdmiralNet의 매개변수화된 경로 예측 방식은 웨이포인트 예측 기준선 대비 약 5초의 랩 타임 단축을 달성했다.
• Bézier 곡선 예측 모델은 웨이포인트 기반 방법 대비 실패 간격에서 100% 이상의 향상을 보였다.
• 오픈루프 성능이 뛰어난 엔드 투 엔드 모델이라도 폐쇄형 루프 레이싱 성능이 반드시 우수한 것은 아니었으며, 이는 오픈루프 지표와 실제 주행 성공 여부 사이에 괴리가 있음을 시사한다.
• 가장 느린 모델인 Bézier 곡선 예측 모델조차도 16.396 Hz로 작동하여 실시간 자율 주행에 충분한 성능을 보였다.
• 이미지 버퍼 스레드는 1,414.42 Hz로 작동하여 계산 오버헤드로 인한 이미지 손실 위험이 매우 낮음을 시사한다.