[论文解读] DeepRacing: Parameterized Trajectories for Autonomous Racing

Trent Weiss, Madhur Behl|arXiv (Cornell University)|May 6, 2020

Autonomous Vehicle Technology and Safety参考文献 39被引用 8

一句话总结

本文介绍了 DeepRacing，一个基于 F1 视频游戏的开源、高保真虚拟测试平台，用于训练和评估自动驾驶赛车智能体。该研究提出 AdmiralNet，一种新颖的端到端深度学习模型，可预测参数化的贝塞尔曲线用于轨迹规划，其在圈速和故障鲁棒性方面优于端到端控制与航路点预测方法，在耐久性测试中实现了 106 圈无故障运行。

ABSTRACT

We consider the challenging problem of high speed autonomous racing in a realistic Formula One environment. DeepRacing is a novel end-to-end framework, and a virtual testbed for training and evaluating algorithms for autonomous racing. The virtual testbed is implemented using the realistic F1 series of video games, developed by Codemasters, which many Formula One drivers use for training. This virtual testbed is released under an open-source license both as a standalone C++ API and as a binding to the popular Robot Operating System 2 (ROS2) framework. This open-source API allows anyone to use the high fidelity physics and photo-realistic capabilities of the F1 game as a simulator, and without hacking any game engine code. We use this framework to evaluate several neural network methodologies for autonomous racing. Specifically, we consider several fully end-to-end models that directly predict steering and acceleration commands for an autonomous race car as well as a model that predicts a list of waypoints to follow in the car's local coordinate system, with the task of selecting a steering/throttle angle left to a classical control algorithm. We also present a novel method of autonomous racing by training a deep neural network to predict a parameterized representation of a trajectory rather than a list of waypoints. We evaluate these models performance in our open-source simulator and show that trajectory prediction far outperforms end-to-end driving. Additionally, we show that open-loop performance for an end-to-end model, i.e. root-mean-square error for a model's predicted control values, does not necessarily correlate with increased driving performance in the closed-loop sense, i.e. actual ability to race around a track. Finally, we show that our proposed model of parameterized trajectory prediction outperforms both end-to-end control and waypoint prediction.

研究动机与目标

• 开发一个基于照片级真实感与物理精确性的 F1 视频游戏的高保真、开源虚拟测试平台，用于高速自动驾驶赛车研究。
• 在闭环、高保真的仿真环境中评估端到端深度学习模型在自动驾驶赛车中的性能。
• 探究使用贝塞尔曲线进行参数化轨迹预测是否能提升驾驶性能，相较于直接控制或基于航路点的规划方法。
• 证明开环性能指标无法可靠预测闭环赛车表现。
• 为未来多智能体赛车研究以及敏捷驾驶行为向日常自动驾驶的迁移提供支持。

提出的方法

• DeepRacing 框架提供 C++ API 和 ROS2 集成，无需修改游戏引擎代码即可访问 F1 游戏的高保真物理与图形系统。
• 一个循环缓冲区存储最近的 $ C $ 幅相机图像，用于控制回路中的实时推理。
• AdmiralNet 采用混合架构，结合卷积神经网络（CNNs）与循环神经网络（RNNs），处理图像序列并预测参数化的贝塞尔曲线。
• 贝塞尔曲线由控制点定义，表示在本体车辆局部坐标系中的平滑、可微轨迹。
• 经典控制算法利用预测的贝塞尔曲线实时计算转向与油门指令。
• 该框架支持闭环评估，使模型能够在赛道上自主竞速直至失败或完成。

实验结果

研究问题

• RQ1 像 F1 系列这样高度逼真的视频游戏环境能否作为训练和评估端到端自动驾驶赛车智能体的可靠测试平台？
• RQ2 通过贝塞尔曲线预测参数化轨迹是否能带来优于直接端到端控制或航路点预测的赛车性能？
• RQ3 在实时控制系统中，开环模型精度与闭环赛车性能之间的相关性有多大？
• RQ4 不同深度学习架构在长时间自主赛车场景中的鲁棒性如何？
• RQ5 与替代规划方法相比，参数化轨迹方法是否能同时提升圈速与故障耐受能力？

主要发现

• 贝塞尔曲线预测模型在耐久性测试中完成了 106 圈无故障运行，显著优于航路点预测模型（11 圈）与端到端模型（0 圈）。
• 与航路点预测基线相比，AdmiralNet 的参数化轨迹方法将圈速减少了约 5 秒。
• 贝塞尔曲线预测模型在故障间隔时间方面相比基于航路点的方法提升了超过 100%。
• 开环性能更优的端到端模型（例如 RMSE 更低）并未必然带来更好的闭环赛车表现，表明开环指标与真实驾驶成功之间存在脱节。
• 最慢的模型——贝塞尔曲线预测模型——仍以 16.396 Hz 的频率运行，足以满足实时自动驾驶赛车需求。
• 图像缓冲区线程运行在 1,414.42 Hz，表明计算开销导致图像丢失的风险极低。