[论文解读] Learning predictive representations in autonomous driving to improve deep reinforcement learning

Daniel Graves, Nhat M. Nguyen+2 more|arXiv (Cornell University)|Jun 26, 2020

Autonomous Vehicle Technology and Safety参考文献 32被引用 9

一句话总结

本文提出使用通用价值函数（GVFs）学习离策略预测表征——具体为未来车道居中程度和道路角度的预测——以提升自动驾驶场景下深度强化学习的性能。通过在多样化道路条件下进行训练，并将这些多尺度预测作为紧凑的状态表征，该方法在仿真和真实世界测试中均实现了更优的泛化能力、更平滑的控制以及在未见或车道标记损坏道路中的鲁棒性能，实验对象为Jackal机器人。

ABSTRACT

Reinforcement learning using a novel predictive representation is applied to autonomous driving to accomplish the task of driving between lane markings where substantial benefits in performance and generalization are observed on unseen test roads in both simulation and on a real Jackal robot. The novel predictive representation is learned by general value functions (GVFs) to provide out-of-policy, or counter-factual, predictions of future lane centeredness and road angle that form a compact representation of the state of the agent improving learning in both online and offline reinforcement learning to learn to drive an autonomous vehicle with methods that generalizes well to roads not in the training data. Experiments in both simulation and the real-world demonstrate that predictive representations in reinforcement learning improve learning efficiency, smoothness of control and generalization to roads that the agent was never shown during training, including damaged lane markings. It was found that learning a predictive representation that consists of several predictions over different time scales, or discount factors, improves the performance and smoothness of the control substantially. The Jackal robot was trained in a two step process where the predictive representation is learned first followed by a batch reinforcement learning algorithm (BCQ) from data collected through both automated and human-guided exploration in the environment. We conclude that out-of-policy predictive representations with GVFs offer reinforcement learning many benefits in real-world problems.

研究动机与目标

• 提升深度强化学习策略在自动驾驶场景中的泛化能力，超越训练数据的分布范围。
• 探究离策略预测表征是否能提升真实环境中学习效率与鲁棒性。
• 评估多尺度预测表征（不同折扣因子）对控制平滑性与性能的影响。
• 证明基于GVF的表征在离线与在线强化学习设置中的有效性。
• 在多样且未见的道路条件下，于真实世界机器人（Jackal）上验证该方法的有效性。

提出的方法

• 利用通用价值函数（GVFs）学习未来车道居中程度与道路角度的反事实、离策略预测。
• 使用从自动化与人工引导探索中收集的数据，通过时序差分学习训练预测表征。
• 将学习到的GVF预测作为主策略网络的紧凑且信息丰富的状态表征。
• 应用批量离线强化学习（BCQ）方法，基于预测状态表征训练驾驶策略。
• 设计多个具有不同折扣因子（如0.25、0.4）的GVF头，以捕捉不同时间范围内的预测。
• 将预测表征集成到两阶段训练流程中：首先进行GVF预训练，随后通过BCQ进行策略学习。

实验结果

研究问题

• RQ1 通过GVFs学习到的预测表征是否能提升自动驾驶策略在未见道路中的泛化能力？
• RQ2 使用多尺度预测（不同折扣因子）如何影响控制平滑性与学习效率？
• RQ3 在离线强化学习设置中，使用离策略预测表征是否能提升性能？
• RQ4 基于GVF的策略对损坏或缺失的车道标记有多强的鲁棒性？
• RQ5 与端到端模仿学习相比，基于GVF的方法在奖励、速度与控制质量方面表现如何？

主要发现

• GVF-BCQ方法在Rectangle测试道路中实现了每秒2.6835的平均奖励，显著优于E2E-BCQ的1.2578，表明其学习效率更优。
• 在带有损坏标记的Oval道路中，GVF-BCQ的归一化偏移度为0.2754，而E2E-BCQ上升至0.3285，显示出更强的鲁棒性。
• GVF-0.4-CCW策略实现了第一阶速度舒适度-1.3403与第二阶转向舒适度-1.3403，在平滑性方面优于MPC基线方法。
• 在复杂形状且车道标记损坏的道路中，GVF-BCQ将近似偏离车道事件从E2E的0.0942降低至0.0，表明其安全性与稳定性更优。
• 在GVF头中使用多个折扣因子（如0.25与0.4）相比单尺度预测，带来了更平滑的控制与更优的泛化能力。
• 基于GVF的方法能有效泛化至训练期间未见过的道路，包括缺失或损坏的车道标记道路，证实了其强大的分布外泛化能力。