[논문 리뷰] Mastering Nordschleife -- A comprehensive race simulation for AI strategy decision-making in motorsports

Max Boettinger, David Klotz|arXiv (Cornell University)|2023. 06. 28.

Real-time simulation and control systemsEngineering인용 수 3

한 줄 요약

이 논문은 뉴르부르크링 노르트슐레이페에서의 GT 레이스를 위한 종합적인 레이스 시뮬레이션을 소개하며, 실제 시간 측정 데이터를 통합하여 타이어 마모, 연료 소비 및 피트 스톱 역학을 모델링한다. OpenAI Gym을 사용하여 강화학습 에이전트를 훈련시켜 피트 스톱 타이밍과 연료 보충을 자동으로 최적화하며, 8라운드씩 3개의 스텐스 전략과 전략적 연료 관리를 통해 일관된 1위 성과를 달성한다.

ABSTRACT

In the realm of circuit motorsports, race strategy plays a pivotal role in determining race outcomes. This strategy focuses on the timing of pit stops, which are necessary due to fuel consumption and tire performance degradation. The objective of race strategy is to balance the advantages of pit stops, such as tire replacement and refueling, with the time loss incurred in the pit lane. Current race simulations, used to estimate the best possible race strategy, vary in granularity, modeling of probabilistic events, and require manual input for in-laps. This paper addresses these limitations by developing a novel simulation model tailored to GT racing and leveraging artificial intelligence to automate strategic decisions. By integrating the simulation with OpenAI's Gym framework, a reinforcement learning environment is created and an agent is trained. The study evaluates various hyperparameter configurations, observation spaces, and reward functions, drawing upon historical timing data from the 2020 Nürburgring Langstrecken Serie for empirical parameter validation. The results demonstrate the potential of reinforcement learning for improving race strategy decision-making, as the trained agent makes sensible decisions regarding pit stop timing and refueling amounts. Key parameters, such as learning rate, decay rate and the number of episodes, are identified as crucial factors, while the combination of fuel mass and current race position proves most effective for policy development. The paper contributes to the broader application of reinforcement learning in race simulations and unlocks the potential for race strategy optimization beyond FIA Formula~1, specifically in the GT racing domain.

연구 동기 및 목표

• 기존 GT 레이스 시뮬레이션의 수동 입력 및 낮은 해상도 문제를 해결하기 위해.
• 실제 2020년 뉴르부르크링 랑스트레크엔 셰리에 시간 측정 데이터로 校정된 데이터 기반의 결정론적 시뮬레이션 모델을 개발하기 위해.
• 시뮬레이션 환경에서 강화학습을 활용하여 레이스 전략 결정을 자동화하기 위해.
• 초기화수치, 관측 공간, 보상 함수가 에이전트 성능에 미치는 영향을 평가하기 위해.
• FIA 포뮬러1을 초월하여 복잡한 실제 레이스 전략을 최적화하기 위한 RL의 실현 가능성을 입증하기 위해.

제안 방법

• 실제 데이터 기반으로 타이어 마모, 연료 소비 및 피트 스톱 메커니즘을 모델링한 랩 단위로 이산화된 레이스 시뮬레이션을 구축하였다.
• 연속적이고 이산적인 행동 공간을 갖는 강화학습 환경을 만들기 위해 시뮬레이션을 OpenAI Gym에 통합하였다.
• 학습률, 감쇠률, 에피소드 수를 변화시킨 다양한 초기화수치를 사용하여 Deep Q-Network(DQN) 강화학습을 통해 에이전트를 훈련시켰다.
• 늦은 종료를 방지하고 순위 상승을 보상으로 주는 보상 함수를 설계하였으며, 연료 질량과 현재 레이스 순위를 핵심 관측 변수로 삼아 균형 잡힌 전략 수립을 유도하였다.
• 손실 곡선과 평균 종료 순위를 사용하여 다양한 설정을 평가하고 최적의 훈련 설정을 식별하였다.
• 최종 정책을 Q-학습 기반 베이스라인과 비교하고, 궤적 시각화를 통해 에이전트의 전략적 행동을 분석하였다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 현실적인 GT 레이스 시뮬레이션에서 자동으로 최적의 피트 스톱 타이밍과 연료 보충을 결정할 수 있는가?
• RQ2 학습률, 에피소드 수, 감쇠률과 같은 다양한 초기화수치 설정이 RL 에이전트의 수렴과 성능에 미치는 영향는 어떠한가?
• RQ3 특히 연료 질량과 레이스 순위의 조합이 포함된 관측 공간 중에서 어떤 것이 가장 효과적인 전략 정책 수립에 기여하는가?
• RQ4 이 시뮬레이션은 타이어 마모와 연료 연소 측면에서 실제 GT 레이스 역학을 어느 정도 정확하게 반영하는가?
• RQ5 RL 에이전트의 전략은 뉴르부르크링 랑스트레크엔 셰리에에서 알려진 실제 전술과 비교해 볼 때 어떻게 다른가?

주요 결과

• 100,000개의 에피소드로 훈련된 에이전트는 안정적인 수렴을 보이며, Q-학습 기반 베이스라인과 이전 설정보다 뛰어난 성능을 보이며 일관되게 1위를 차지하였다.
• 학습률 0.001은 조기 수렴과 정체를 유도하였고, 학습률을 0.01로 상향 조정하고 에피소드 수를 50,000으로 늘려도 과도한 국소 최적화로 인해 성능이 열악하였다.
• 연료 질량과 현재 레이스 순위의 조합이 정책 학습에 가장 효과적인 관측 공간으로 밝혀졌으며, 이는 에이전트가 맥락 기반 결정을 내리는 데 기여하였다.
• 에이전트는 자동으로 8라운드씩 3개의 스텐스 전략을 채택하였으며, 이는 실제 NLS 레이스 전략과 일치했고, 마지막 랩에서의 연료 보충을 최적화하였다.
• 시뮬레이션은 뉴르부르크링 랑스트레크엔 셰리에의 역사적 데이터를 바탕으로 타이어 마모와 연료 소비를 정확하게 모델링하였으며, 이는 실제 레이스 역학을 잘 반영하고 있음을 확인하였다.
• 최종 정책은 강건성과 전략적 일관성을 보였으며, 70,000 에피소드 이후에도 일관된 1위 성과를 기록하여 최적 전략으로의 수렴에 성공했다.