[论文解读] FastRLAP: A System for Learning High-Speed Driving via Deep RL and Autonomous Practicing

Kyle Stachowicz, Dhruv Shah+3 more|arXiv (Cornell University)|Apr 19, 2023

Autonomous Vehicle Technology and Safety被引用 5

一句话总结

FastRLAP 是一种系统，通过在真实世界中使用深度强化学习（RL）和自我练习，使小型遥控车能够从视觉观测中自主学习高速驾驶。它利用来自多样化先前导航数据的预训练表征以及一次低速示范，实现样本高效的在线强化学习，在不到20分钟的真实世界训练中达到专家水平性能，且无需人工干预。

ABSTRACT

We present a system that enables an autonomous small-scale RC car to drive aggressively from visual observations using reinforcement learning (RL). Our system, FastRLAP (faster lap), trains autonomously in the real world, without human interventions, and without requiring any simulation or expert demonstrations. Our system integrates a number of important components to make this possible: we initialize the representations for the RL policy and value function from a large prior dataset of other robots navigating in other environments (at low speed), which provides a navigation-relevant representation. From here, a sample-efficient online RL method uses a single low-speed user-provided demonstration to determine the desired driving course, extracts a set of navigational checkpoints, and autonomously practices driving through these checkpoints, resetting automatically on collision or failure. Perhaps surprisingly, we find that with appropriate initialization and choice of algorithm, our system can learn to drive over a variety of racing courses with less than 20 minutes of online training. The resulting policies exhibit emergent aggressive driving skills, such as timing braking and acceleration around turns and avoiding areas which impede the robot's motion, approaching the performance of a human driver using a similar first-person interface over the course of training.

研究动机与目标

• 开发一种系统，使遥控车能够从视觉观测中在真实世界中自主学习高速驾驶策略，无需人类示范或仿真环境。
• 通过实现自主恢复和持续练习，克服真实世界机器人控制中在线强化学习样本效率低下和易出错的问题。
• 探究来自多样化机器人导航数据的预训练表征是否能有效提升真实世界强化学习在激进驾驶行为中的性能。
• 证明在极少人类监督和真实世界在线交互下，诸如漂移和最优赛车线路选择等高阶驾驶技能能够自然涌现。

提出的方法

• 在来自其他机器人和环境的大量多样化低速导航数据上预训练策略和价值函数表征，以捕捉障碍物和自由空间等可泛化的视觉特征。
• 使用一次低速人类示范提取导航检查点并定义目标路径，从而指导目标条件化的强化学习策略。
• 实施一种自主练习框架，在发生碰撞或失败后自动重置机器人，实现无需人工干预的持续在线训练。
• 应用一种样本高效的在线强化学习算法，利用预训练表征快速适应目标环境，并在多圈行驶中持续提升性能。
• 使用评论家网络基于视觉观测评估动作，为避开障碍物并保持最优轨迹的路径分配更高价值。
• 集成状态估计算法，实时提供至下一检查点的向量信息，实现在训练过程中的目标条件化导航。

Figure 2 : FastRLAP learns fast driving policies for a 1/10 ${}^{\text{th}}$ -scale vehicle operating in diverse indoor and outdoor environments with challenging terrains in tens of minutes, using a combination of offline pre-training and online reinforcement learning.

实验结果

研究问题

• RQ1 基于视觉的强化学习策略是否能在真实世界中无需任何人类示范或仿真环境，自主学习高速驾驶行为？
• RQ2 来自多样化机器人导航数据的预训练表征在多大程度上能提升真实世界在线强化学习在激进驾驶中的样本效率？
• RQ3 通过自主从碰撞和失败中恢复，是否能够实现在真实世界强化学习中无需人工干预的连续、不间断学习？
• RQ4 在极少人类监督和真实世界在线强化学习条件下，诸如漂移和最优赛车线路选择等涌现驾驶行为是否能够自然出现？

主要发现

• 在仅进行5至20分钟的真实世界在线训练后，FastRLAP 的性能达到人类专家驾驶员的40%以内，且使用相似的第一人称界面。
• 尽管初始数据为低速数据并仅提供一次缓慢示范，该系统仍成功学习到激进驾驶行为，如弯道处的刹车与加速时机把握、漂移以及选择高速行驶地形。
• 评论家网络显示出视觉线索（如障碍物、开阔路径）与动作价值之间具有有意义的相关性，表明策略已学会对环境进行推理，而非单纯记忆动作。
• 消融实验确认，任务相关的预训练对成功至关重要，支持预训练表征作为视觉控制下游强化学习的坚实基础。
• 该系统能够自主从碰撞中恢复并持续练习，无需人工干预，从而实现在真实世界中的持续学习。
• 该方法仅需极少的在线数据即实现高性能，表明当结合适当的预训练和自主恢复机制时，深度强化学习在真实世界策略学习中具有可行性。

Figure 3 : High-speed visual navigation faces challenges due to sensing, perception, and dynamics: (a) noisy odometry and localization errors across multiple laps, (b) overexposure and motion blur in the visual observations, and (c) over-/under-steer due to complex dynamics.