[论文解读] Mastering Nordschleife -- A comprehensive race simulation for AI strategy decision-making in motorsports

Max Boettinger, David Klotz|arXiv (Cornell University)|Jun 28, 2023

Real-time simulation and control systemsEngineering被引用 3

一句话总结

本文提出了一种针对纽博格林北环赛道的GT耐力赛的全面仿真系统，整合了真实世界的时间数据，以模拟轮胎磨损、燃油消耗和进站动态。基于OpenAI Gym，训练了一个强化学习智能体，可自主优化进站时机与加油策略，在采用三段8圈进站策略并结合燃油管理的情况下，实现了稳定的冠军成绩。

ABSTRACT

In the realm of circuit motorsports, race strategy plays a pivotal role in determining race outcomes. This strategy focuses on the timing of pit stops, which are necessary due to fuel consumption and tire performance degradation. The objective of race strategy is to balance the advantages of pit stops, such as tire replacement and refueling, with the time loss incurred in the pit lane. Current race simulations, used to estimate the best possible race strategy, vary in granularity, modeling of probabilistic events, and require manual input for in-laps. This paper addresses these limitations by developing a novel simulation model tailored to GT racing and leveraging artificial intelligence to automate strategic decisions. By integrating the simulation with OpenAI's Gym framework, a reinforcement learning environment is created and an agent is trained. The study evaluates various hyperparameter configurations, observation spaces, and reward functions, drawing upon historical timing data from the 2020 Nürburgring Langstrecken Serie for empirical parameter validation. The results demonstrate the potential of reinforcement learning for improving race strategy decision-making, as the trained agent makes sensible decisions regarding pit stop timing and refueling amounts. Key parameters, such as learning rate, decay rate and the number of episodes, are identified as crucial factors, while the combination of fuel mass and current race position proves most effective for policy development. The paper contributes to the broader application of reinforcement learning in race simulations and unlocks the potential for race strategy optimization beyond FIA Formula~1, specifically in the GT racing domain.

研究动机与目标

• 解决现有GT耐力赛仿真系统中手动输入过多与粒度不足的问题。
• 基于2020年纽博格林耐力赛真实时间数据，开发一种数据驱动、确定性的仿真模型。
• 在仿真环境中利用强化学习实现赛车策略决策的自动化。
• 评估超参数、观测空间与奖励函数对智能体性能的影响。
• 证明强化学习在优化复杂现实赛车策略方面的可行性，超越FIA一级方程式赛车的范畴。

提出的方法

• 基于实证数据，构建了基于圈次离散化的赛车仿真系统，包含轮胎磨损、燃油消耗与进站机制的模型。
• 将仿真系统集成至OpenAI Gym，创建具备连续与离散动作空间的强化学习环境。
• 使用深度Q网络（DQN）强化学习算法，通过调整学习率、衰减率与训练轮次等超参数，训练智能体。
• 设计奖励函数，对靠后完赛进行惩罚，对名次提升进行奖励，重点将燃油质量与当前比赛名次作为关键观测输入。
• 通过损失曲线与平均完赛名次评估多种配置，以识别最优训练设置。
• 将最终策略与Q-Learning基线模型进行验证，并通过轨迹可视化分析智能体的战略行为。

实验结果

研究问题

• RQ1 强化学习智能体能否在逼真的GT耐力赛仿真中自主确定最优进站时机与加油策略？
• RQ2 不同超参数配置（学习率、训练轮次、衰减率）如何影响强化学习智能体的收敛性与性能？
• RQ3 哪种观测空间——特别是燃油质量与当前比赛名次的组合——能产生最有效的策略政策？
• RQ4 该仿真系统在多大程度上准确反映了现实GT耐力赛动态，特别是轮胎磨损与燃油消耗特性？
• RQ5 强化学习智能体的策略与纽博格林耐力赛中已知的真实世界赛车战术相比如何？

主要发现

• 使用100,000轮次训练的智能体实现了稳定收敛，并持续获得第一名，优于Q-Learning基线模型与早期配置。
• 学习率为0.001时导致早期收敛与停滞，而将学习率提高至0.01并增加训练轮次至50,000仍因过早陷入局部最优而表现欠佳。
• 燃油质量与当前比赛名次的组合被证明是最有效的观测空间，使智能体能够做出情境感知的决策。
• 智能体自主采用了三段8圈进站策略，与真实世界NLS赛事战术一致，并对最后几圈的加油进行了优化。
• 仿真系统准确模拟了现实GT耐力赛动态，包括轮胎磨损与燃油消耗，经2020年纽博格林耐力赛历史数据验证。
• 最终策略表现出强鲁棒性与战略一致性，在70,000轮次后持续获得第一名，表明已成功收敛至最优策略。