[논문 리뷰] Towards End-to-End Deep Learning for Autonomous Racing: On Data Collection and a Unified Architecture for Steering and Throttle Prediction

Shakti N. Wadekar, Benjamin J. Schwartz외 6명|arXiv (Cornell University)|2021. 05. 04.

Autonomous Vehicle Technology and Safety참고 문헌 17인용 수 11

한 줄 요약

이 논문은 순환 연결 또는 피드백 없이 통합된 컨볼루션 신경망 아키텍처를 사용하여 조향 및 가속도를 동시에 예측하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 실험적으로 사전 훈련된 조향 컨볼루션 특징을 冻결하고 가속도 예측을 위한 최종 완전히 연결된 레이어만 미세조정함으로써 고속 안정 제어를 가능하게 하였으며, 암시적 학습과 데이터 증강을 통해 날카러운 커브를 가진 트랙에서 90mph의 속도를 달성하였다.

ABSTRACT

Deep Neural Networks (DNNs) which are trained end-to-end have been successfully applied to solve complex problems that we have not been able to solve in past decades. Autonomous driving is one of the most complex problems which is yet to be completely solved and autonomous racing adds more complexity and exciting challenges to this problem. Towards the challenge of applying end-to-end learning to autonomous racing, this paper shows results on two aspects: (1) Analyzing the relationship between the driving data used for training and the maximum speed at which the DNN can be successfully applied for predicting steering angle, (2) Neural network architecture and training methodology for learning steering and throttle without any feedback or recurrent connections.

연구 동기 및 목표

• 엔드 투 엔드 딥 러닝을 위한 데이터 수집 전략을 조사하여, 훈련 데이터 양과 도달 가능한 최고 속도 간의 관계를 중심으로 고속 자율 레이싱에서의 성능을 분석한다.
• 순환 단위(예: LSTMs) 또는 피드백 루프를 사용하지 않고도 조향과 가속도를 동시에 예측할 수 있는 통합된 딥 신경망 아키텍처를 개발한다.
• 조향 예측에 훈련된 컨볼루션 특징을 재사용하여 가속도 예측에 효과적으로 전이함으로써 재훈련과 계산 비용을 최소화하는 효율적인 공동 학습을 가능하게 한다.
• 실시간 추론 조건 하에서 다양한 트랙 레이아웃(고곡률 트랙 및 표준 시뮬레이터 트랙 포함)에서 제안된 방법의 성능을 검증한다.
• 향후 자율 레이싱 시스템에서 엔드 투 엔드 모델의 확장 가능한 구현을 위한 데이터 중심 기반을 마련한다.

제안 방법

• 10Hz 속도로 영상, 조향, 가속도, 속도 데이터를 수집하기 위해 세 대의 전방 카메라를 탑재한 커스텀 유니티 기반 시뮬레이터를 사용하였다.
• 전문가 피드백을 통합한 직접 정책 학습(행동 복제와 데이터 집합 기반 학습을 융합한 형태의 암시적 학습)을 적용하여 정책 성능을 반복적으로 향상시켰다.
• 저지연 추론을 위해 단순화된 아키텍처를 고정하여, NVIDIA의 엔드 투 엔드 자율 주행 아키텍처를 영감으로 삼은 기본 컨볼루션 신경망을 조향 예측에 대해 훈련시켰다.
• 가속도 예측을 위해 조향 모델에서 훈련된 컨볼루션 레이어를 고정하고, 이후 완전히 연결된 레이어만 미세조정하여 뼈대 재훈련 없이 특징 전이를 가능하게 하였다.
• 공유된 컨볼루션 레이어를 공통 뼈대로 사용하고 조향 및 가속도 예측을 위한 별도의 헤드를 갖춘 단일 통합 아키텍처로 두 모델을 융합하였다.
• 데이터 증강 및 반복적인 전문가 보정을 통해 다양한 트랙 기하학적 형태와 속도 영역에서의 일반화 및 강인성을 향상시켰다.

실험 결과

연구 질문

• RQ1 수집된 훈련 데이터의 양(랩 수로 측정)은 엔드 투 엔드 딥 러닝을 통한 자율 레이싱에서 도달 가능한 최고 안정 속도와 어떻게 관련이 있는가?
• RQ2 순환 연결 또는 피드백 메커니즘을 사용하지 않고도 통합된 딥 신경망 아키텍처가 조향과 가속도를 동시에 예측할 수 있는가?
• RQ3 조향 모델에서 사전 훈련된 컨볼루션 특징을 얼마나 효과적으로 가속도 예측 작업에 전이할 수 있으며, 추가 훈련 시간을 최소화할 수 있는가?
• RQ4 고곡률 커브를 가진 트랙에서 고속 조건 하에서 표준 또는 직선 트랙과 비교해 모델의 성능은 어떻게 나타나는가?
• RQ5 모의 레이싱 환경에서 안정적이고 고속의 자율 제어를 가능하게 하는 데 가장 효과적인 데이터 수집 전략은 무엇인가?

주요 결과

• 날카러운 커브를 가진 트랙 2에서 모델은 곡선에서는 가속도를 줄이고 직선에서는 가속을 증가시킴으로써 최고 90mph의 속도를 달성하였으며, 고속 안정성의 성공을 입증하였다.
• 트랙 2와 기본 레이크 트랙 양쪽에서 다수의 랩 동안 안정된 성능 유지를 보였으며, 다양한 트랙 기하학적 형태에 대한 일반화 능력을 입증하였다.
• 훈련 데이터 양(랩 수)과 도달 가능한 최고 속도 간의 관계를 실증적으로 검증하였으며, 데이터 증가가 고속 주행 능력을 향상시킴을 확인하였다.
• 조향 모델의 컨볼루션 레이어를 고정하고 가속도 예측을 위한 완전히 연결된 레이어만 미세조정함으로써 추가 훈련 시간을 최소화하면서도 높은 성능을 달성하였다.
• 순환 구조나 피드백 없이도 통합 아키텍처가 조향 및 가속도 예측을 동시에 수행함을 입증하여, 이 설정에서 이러한 구성 요소가 고속 제어에 필수적이지 않음을 확인하였다.
• 비디오 시연를 통해 모델이 복잡한 트랙을 실시간 추론과 부드러운 제어 전환을 통해 자율적으로 주행할 수 있음을 확인하였다.