[论文解读] Formula RL: Deep Reinforcement Learning for Autonomous Racing using Telemetry Data

Adrian Remonda, Sarah Krebs+3 more|arXiv (Cornell University)|Jan 1, 2019

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出 Formula RL，一种深度强化学习框架，仅使用车辆遥测数据（如速度、加速度和转向）而非视觉输入来训练自动驾驶竞速智能体。通过采用改进的 DDPG 算法，并引入前瞻曲率（LAC）和优化的经验回放等创新技术，该模型在性能上超越了开源的手动设计智能体，并能泛化至未见过的赛道，实现实时优化竞速线路。

ABSTRACT

This paper explores the use of reinforcement learning (RL) models for autonomous racing. In contrast to passenger cars, where safety is the top priority, a racing car aims to minimize the lap-time. We frame the problem as a reinforcement learning task with a multidimensional input consisting of the vehicle telemetry, and a continuous action space. To find out which RL methods better solve the problem and whether the obtained models generalize to driving on unknown tracks, we put 10 variants of deep deterministic policy gradient (DDPG) to race in two experiments: i)~studying how RL methods learn to drive a racing car and ii)~studying how the learning scenario influences the capability of the models to generalize. Our studies show that models trained with RL are not only able to drive faster than the baseline open source handcrafted bots but also generalize to unknown tracks.

研究动机与目标

• 探究强化学习是否能够仅基于车辆遥测数据（无需视觉输入）有效训练自动驾驶竞速智能体。
• 评估哪些深度强化学习算法及网络结构改进能实现最小化复杂赛道圈速时间的最佳性能。
• 评估在部署于未见过的赛道时，训练好的强化学习模型的泛化能力，以模拟真实世界中驾驶员的准备过程。
• 探究引入赛道曲率信息（通过 LAC 实现）对模型性能和学习效率的影响。
• 开发一种框架，使智能体能够自主发现并优化最优竞速线路，而非遵循固定轨迹。

提出的方法

• 该框架以深度确定性策略梯度（DDPG）作为核心强化学习算法，针对连续动作空间（转向、油门、刹车）进行适配。
• 从历史赛道遥测数据中计算出一种新颖的前瞻曲率（LAC）特征，提供预测性的赛道形状信息，从而提升泛化能力和决策质量。
• 采用改进的经验回放缓冲区，结合优先经验回放（PER）和 100 万条样本的缓冲区大小（PER1M），以稳定学习过程并提高数据利用效率。
• 实现了自定义的终止机制，以处理稀疏奖励环境中的回合结束状态转换问题。
• 通过互斥机制对动作空间进行约束，确保在连续控制中油门与刹车不会同时被激活。
• 仿真环境（TORCS）生成高频遥测数据（1000Hz），支持高保真物理驱动的训练与评估。

实验结果

研究问题

• RQ1 RQ1：是否可行仅使用车辆遥测数据（无需视觉输入）训练高性能自动驾驶竞速智能体？
• RQ2 RQ2：在某一赛道上训练的强化学习模型在未见过的赛道上泛化能力如何？
• RQ3 RQ3：哪些 DDPG 变体及超参数配置在圈速时间和泛化能力方面表现最佳？
• RQ4 RQ4：引入前瞻曲率（LAC）是否能提升模型性能和学习稳定性？
• RQ5 RQ5：强化学习智能体能否自主发现并优化优于预设轨迹的竞速线路？

主要发现

• 采用 PER1M 算法训练的模型在复杂赛道上表现最佳，显著缩短了圈速时间，优于基线开源手写智能体。
• 前瞻曲率（LAC）特征通过提供预测性赛道几何信息，提升了模型性能，增强了对前方弯道的决策能力。
• 在 Aalborg 赛道上训练的 RL 智能体在未见过的赛道（如 Michigan 和 Forza）上表现出合理的泛化能力，尽管性能低于在训练赛道上的表现。
• 表现最佳的模型通过自主发现新的、优化后的竞速线路，超越了手写智能体，而非沿固定路径行驶。
• 结果表明，尽管泛化是可能的，但在复杂赛道上训练的模型仍需在特定赛道上进一步微调，这与人类驾驶员的行为一致。
• 本研究证明，基于遥测数据的深度强化学习是自动驾驶竞速的一种可行且高效的方法，使智能体仅通过物理动力学即可学习最优驾驶策略。