[论文解读] Automated vehicle's behavior decision making using deep reinforcement learning and high-fidelity simulation environment

Yingjun Ye, Xiaohui Zhang+1 more|arXiv (Cornell University)|Apr 17, 2018

Autonomous Vehicle Technology and Safety参考文献 24被引用 11

一句话总结

本文提出了一种基于深度强化学习（DRL）的框架，结合高保真度仿真环境，用于训练自动驾驶车辆的行为决策，重点聚焦于跟车与变道行为。该方法相较于智能驾驶员模型提升了7.9%的驾驶效率，并在多车道场景中使平均速度提高2.4%，表明通过优化奖励函数设计，能够有效学习复杂的驾驶行为。

ABSTRACT

Automated vehicles are deemed to be the key element for the intelligent transportation system in the future. Many studies have been made to improve the Automated vehicles' ability of environment recognition and vehicle control, while the attention paid to decision making is not enough though the decision algorithms so far are very preliminary. Therefore, a framework of the decision-making training and learning is put forward in this paper. It consists of two parts: the deep reinforcement learning training program and the high-fidelity virtual simulation environment. Then the basic microscopic behavior, car-following, is trained within this framework. In addition, theoretical analysis and experiments were conducted on setting reward function for accelerating training using deep reinforcement learning. The results show that on the premise of driving comfort, the efficiency of the trained Automated vehicle increases 7.9% compared to the classical traffic model, intelligent driver model. Later on, on a more complex three-lane section, we trained the integrated model combines both car-following and lane-changing behavior, the average speed further grows 2.4%. It indicates that our framework is effective for Automated vehicle's decision-making learning.

研究动机与目标

• 解决尽管感知与控制技术取得进展，但自动驾驶车辆决策能力仍不充分的问题。
• 开发一种可扩展的训练框架，结合深度强化学习与高保真度仿真，用于行为决策。
• 研究奖励函数设计对训练效率与驾驶性能的影响。
• 在复杂交通环境中，对基本跟车行为以及集成的跟车/变道行为进行框架评估。

提出的方法

• 该框架在高保真度虚拟仿真环境中使用深度Q网络（DQN）进行策略学习，以训练决策策略。
• 设计了包含多个分量的奖励函数，以平衡驾驶舒适性、安全性与效率，从而实现更快的收敛速度。
• 仿真环境能够精确复现真实世界的交通动态，包括准确的车辆动力学与环境交互。
• 模型首先在单车道跟车行为上进行训练，随后扩展至包含跟车与变道动作的三车道场景。
• 对超参数及训练超启发式方法进行调优，以稳定学习过程并提升样本效率。
• 该框架支持行为策略的端到端训练，无需依赖人工编写的规则或预设的行为模型。

实验结果

研究问题

• RQ1 如何有效应用深度强化学习，在仿真环境中训练自动驾驶车辆完成复杂的驾驶决策？
• RQ2 何种奖励函数设计能够加速训练，同时保持驾驶舒适性与安全性？
• RQ3 与经典的智能驾驶员模型相比，所提出的框架在驾驶效率方面提升了多少？
• RQ4 训练好的策略能否泛化到同时包含跟车与变道行为的更复杂交通场景？
• RQ5 高保真度仿真如何增强所学决策策略的鲁棒性与真实性？

主要发现

• 在单车道跟车场景中，基于DRL的策略相较于智能驾驶员模型提升了7.9%的驾驶效率。
• 经过优化的奖励函数显著加速了训练收敛，同时保持了驾驶舒适性与安全性。
• 在三车道仿真中，集成模型相较于基线模型使平均速度提升了2.4%。
• 该框架成功学习到了跟车与变道决策之间的协调行为，而无需显式基于规则的编程。
• 高保真度仿真实现了真实的策略训练，性能提升通过速度与效率的定量指标得到验证。
• 结果表明，端到端DRL训练在复杂交通环境中具备实现自动驾驶车辆决策的可行性与有效性。