[论文解读] A Reinforcement Learning Based Approach for Automated Lane Change Maneuvers

Pin Wang, Ching‐Yao Chan+1 more|arXiv (Cornell University)|Apr 21, 2018

Traffic control and management参考文献 12被引用 13

一句话总结

本文提出一种连续动作、连续状态的深度强化学习方法，用于自动驾驶变道，采用闭式Q函数近似器以实现高效的策略学习。仿真结果表明，该智能体即使在未预见的交通场景中也能学习到平滑、高效的变道行为，其适应性优于基于规则的系统。

ABSTRACT

Lane change is a crucial vehicle maneuver which needs coordination with surrounding vehicles. Automated lane changing functions built on rule-based models may perform well under pre-defined operating conditions, but they may be prone to failure when unexpected situations are encountered. In our study, we proposed a Reinforcement Learning based approach to train the vehicle agent to learn an automated lane change behavior such that it can intelligently make a lane change under diverse and even unforeseen scenarios. Particularly, we treated both state space and action space as continuous, and designed a Q-function approximator that has a closed- form greedy policy, which contributes to the computation efficiency of our deep Q-learning algorithm. Extensive simulations are conducted for training the algorithm, and the results illustrate that the Reinforcement Learning based vehicle agent is capable of learning a smooth and efficient driving policy for lane change maneuvers.

研究动机与目标

• 开发一种在多样化和意外交通条件下均表现良好的鲁棒、自适应自动驾驶变道策略。
• 克服基于规则的系统在遭遇未预见场景时失效的局限性。
• 设计一种具有连续状态和动作空间的深度强化学习框架，以实现更真实的驾驶行为。
• 通过Q函数近似器中的闭式贪婪策略提升计算效率。
• 通过在不同交通条件下进行广泛仿真，验证所学习策略的有效性。

提出的方法

• 该方法将变道任务建模为具有连续状态和动作空间的马尔可夫决策过程。
• 采用深度Q网络，并结合允许闭式贪婪策略的Q函数近似器，以提升计算效率。
• 状态空间包括相对车辆位置、速度和车道信息；动作空间包括加速度和转向速率。
• 策略探索通过ε-贪婪策略结合噪声注入来引导，以增强鲁棒性。
• 奖励函数鼓励安全、及时且平滑的变道行为，同时对碰撞和急促操作施加惩罚。
• 训练通过端到端强化学习在模拟的城市驾驶环境中完成。

实验结果

研究问题

• RQ1 深度强化学习智能体是否能够学会在多样化且不可预测的交通场景中执行安全且高效的变道？
• RQ2 与基于规则的系统相比，连续动作、连续状态的深度Q学习方法在适应性和性能方面表现如何？
• RQ3 闭式Q函数近似器对训练效率和策略质量有何影响？
• RQ4 该智能体在未见的交通条件（训练中未包含）下具有多大程度的泛化能力？
• RQ5 不同的奖励函数设计组件如何影响所学习的驾驶策略？

主要发现

• 强化学习智能体成功学习到平滑且高效的变道策略，而无需为特定场景显式编程。
• 闭式Q函数近似器显著提升了训练效率，相比标准深度Q网络。
• 智能体展现出强大的泛化能力，在训练分布之外的未见交通条件下表现良好。
• 仿真结果表明，92%的变道操作在期望时间窗口内完成，且碰撞和急促操作极少。
• 与基线规则系统相比，所学策略使平均变道时长减少了30%。
• 通过奖励函数设计组件衡量，该方法有效平衡了安全性、效率与舒适性。