[논문 리뷰] Formula RL: Deep Reinforcement Learning for Autonomous Racing using Telemetry Data

Adrian Remonda, Sarah Krebs외 3명|arXiv (Cornell University)|2019. 01. 01.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 시각 입력 대신 차량 텔레메트리 데이터(속도, 가속도, 조향 등)만을 사용하여 자율 주행 에이전트를 훈련시키는 딥 강화학습 프레임워크인 Formula RL을 제안한다. 수정된 DDPG 알고리즘과 함께 룩어헤드 커브처(look-ahead curvature, LAC) 및 향상된 경험 재생 기법을 활용함으로써, 모델은 오픈소스 수동 설계 봇을 능가하고 예측 불가능한 트랙으로의 일반화 성능을 보이며, 실시간으로 레이싱 라인을 최적화함으로써 더 빠른 랩 타임을 달성한다.

ABSTRACT

This paper explores the use of reinforcement learning (RL) models for autonomous racing. In contrast to passenger cars, where safety is the top priority, a racing car aims to minimize the lap-time. We frame the problem as a reinforcement learning task with a multidimensional input consisting of the vehicle telemetry, and a continuous action space. To find out which RL methods better solve the problem and whether the obtained models generalize to driving on unknown tracks, we put 10 variants of deep deterministic policy gradient (DDPG) to race in two experiments: i)~studying how RL methods learn to drive a racing car and ii)~studying how the learning scenario influences the capability of the models to generalize. Our studies show that models trained with RL are not only able to drive faster than the baseline open source handcrafted bots but also generalize to unknown tracks.

연구 동기 및 목표

• 강화학습이 시각 입력에 의존하지 않고 차량 텔레메트리 데이터만을 사용하여 고성능 자율 주행 에이전트를 효과적으로 훈련시킬 수 있는지 조사하기.
• 복잡한 레이싱 트랙에서 랩 타임을 최소화하는 데 있어 어떤 딥 강화학습 알고리즘과 아키텍처 수정 사항이 최고의 성능을 낼 수 있는지 평가하기.
• 실제 주행 준비 방식을 모방하기 위해, 훈련된 RL 모델이 미리 보지 않은 레이싱 트랙에 배포되었을 때의 일반화 능력을 평가하기.
• LAC를 통한 트랙 곡률 정보 통합이 모델 성능과 학습 효율성에 어떤 영향을 미치는지 탐색하기.
• 고정된 경로를 따르는 것이 아니라, 에이전트가 자율적으로 최적의 레이싱 라인을 탐색하고 최적화할 수 있도록 하는 프레임워크 개발하기.

제안 방법

• 프레임워크는 연속적인 행동 공간(조향, 페달 조작, 브레이크)을 위해 적응된 딥 디터민리스틱 정책 그래디언트(DDPG) 알고리즘을 핵심 강화학습 알고리즘으로 사용한다.
• 이전 랩 텔레메트리 데이터에서 계산된 새로운 룩어헤드 커브처(Look-ahead Curvature, LAC) 기능을 도입하여 향후 트랙 형태에 대한 예측 정보를 제공함으로써 일반화 능력과 의사결정 능력을 향상시킨다.
• 우선순위 경험 재생(Prioritized Experience Replay, PER)과 100만 개 샘플 버퍼 크기(PER1M)를 적용한 수정된 경험 재생 버퍼를 사용하여 학습 안정성과 데이터 효율성을 향상시킨다.
• 희박 보상 환경에서 발생하는 문제를 해결하기 위해 종료 전환 처리를 위한 맞춤형 종료 메커니즘을 구현한다.
• 연속 제어에서 페달과 브레이크가 동시에 작동하지 않도록 하기 위해 상호 배제 기법을 사용하여 행동 공간을 제약한다.
• 시뮬레이션 환경(TORCS)은 고주기 텔레메트리 데이터(1000Hz)를 생성하여 고정밀 물리 기반 훈련 및 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 RQ1: 시각 입력 없이 차량 텔레메트리 데이터만을 사용하여 고성능 자율 주행 에이전트를 훈련시키는 것이 가능한가?
• RQ2 RQ2: 한 트랙에서 훈련된 RL 모델이 미리 보지 않은 레이싱 트랙으로의 일반화 능력은 어떠한가?
• RQ3 RQ3: 어떤 DDPG 변종과 하이퍼파라미터 설정이 랩 타임과 일반화 능력 측면에서 최고의 성능을 낼 수 있는가?
• RQ4 RQ4: 룩어헤드 커브처(Look-ahead Curvature, LAC)를 통합하면 모델 성능과 학습 안정성이 향상되는가?
• RQ5 RQ5: RL 에이전트가 고정된 경로 대신, 사전 정의된 경로가 아닌 더 우수한 레이싱 라인을 자율적으로 탐색하고 최적화할 수 있는가?

주요 결과

• PER1M 알고리즘을 사용해 훈련된 모델가 복잡한 트랙에서 최고의 성능을 보였으며, 기준 오픈소스 수동 설계 봇 대비 랩 타임을 크게 단축시켰다.
• 룩어헤드 커브처(Look-ahead Curvature, LAC) 기능은 예측 가능한 트랙 기하학적 정보를 제공함으로써 성능 향상과 의사결정 능력 향상에 기여했다.
• 아우알바 트랙에서 훈련된 RL 에이전트는 예측 불가능한 트랙(예: 미시간, 포르자)으로의 일반화 능력이 상당히 우수했지만, 훈련 트랙 대비 성능은 낮았다.
• 최고 성능을 보인 모델들은 고정 경로를 따르는 것이 아니라 새로운 최적화된 레이싱 라인을 탐색함으로써 수동 설계 봇을 능가했다.
• 결과적으로 일반화 가능성은 존재하지만, 복잡한 트랙에서 훈련된 모델들은 여전히 특정 트랙에서의 추가 정밀 조정(fine-tuning)을 통해 성능 향상을 얻을 수 있으며, 이는 인간 운전사 행동을 그대로 반영한다.
• 본 연구는 텔레메트리 기반 딥 강화학습가 자율 주행에 실현 가능하고 효과적인 접근법임을 입증하며, 물리적 동역학만으로도 에이전트가 최적의 주행 전략을 학습할 수 있음을 보여준다.