[论文解读] Automated Lane Change Strategy using Proximal Policy Optimization-based Deep Reinforcement Learning

Fei Ye, Xuxin Cheng+3 more|arXiv (Cornell University)|Feb 7, 2020

Autonomous Vehicle Technology and Safety参考文献 25被引用 18

一句话总结

本文提出了一种基于近端策略优化（PPO）的深度强化学习方法，实现安全、高效且舒适的自动变道策略。该方法通过平衡安全性、舒适性和效率，使智能体在密集交通中实时做出变道决策，测试中取得了99.15%的成功率和0.5%的碰撞率，优于基于规则的基线方法。

ABSTRACT

Lane-change maneuvers are commonly executed by drivers to follow a certain routing plan, overtake a slower vehicle, adapt to a merging lane ahead, etc. However, improper lane change behaviors can be a major cause of traffic flow disruptions and even crashes. While many rule-based methods have been proposed to solve lane change problems for autonomous driving, they tend to exhibit limited performance due to the uncertainty and complexity of the driving environment. Machine learning-based methods offer an alternative approach, as Deep reinforcement learning (DRL) has shown promising success in many application domains including robotic manipulation, navigation, and playing video games. However, applying DRL to autonomous driving still faces many practical challenges in terms of slow learning rates, sample inefficiency, and safety concerns. In this study, we propose an automated lane change strategy using proximal policy optimization-based deep reinforcement learning, which shows great advantages in learning efficiency while still maintaining stable performance. The trained agent is able to learn a smooth, safe, and efficient driving policy to make lane-change decisions (i.e. when and how) in a challenging situation such as dense traffic scenarios. The effectiveness of the proposed policy is validated by using metrics of task success rate and collision rate. The simulation results demonstrate the lane change maneuvers can be efficiently learned and executed in a safe, smooth, and efficient manner.

研究动机与目标

• 在复杂动态交通环境中，为自动驾驶车辆开发一种安全、高效且舒适的自动变道策略。
• 克服基于规则的系统在意外场景下灵活性不足和碰撞率高的局限性。
• 通过使用具有信任区域和截断目标的PPO，解决深度强化学习中的样本效率低和学习速度慢的问题。
• 集成一个安全干预模块，在训练和推理过程中覆盖潜在灾难性动作，确保安全探索。
• 通过仿真指标（包括成功率、碰撞率和累积奖励）验证该方法。

提出的方法

• 采用具有演员-评论家架构的近端策略优化（PPO）算法，学习高层变道策略。
• 采用截断目标函数以建立信任区域，相比经典TRPO，提升了训练稳定性和样本效率。
• 集成一个安全干预模块，若预测动作违反安全约束则进行替换，确保安全探索。
• 设计一个多分量奖励函数，结合舒适性、效率和安全性奖励，以指导策略学习。
• 使用预定义的智能驾驶员模型（IDM）进行纵向控制，实现决策与底层控制的解耦。
• 在具有密集交通的仿真环境中训练智能体，使用包括相对位置、速度和碰撞时间（TTC）在内的连续状态特征。

实验结果

研究问题

• RQ1 基于PPO的深度强化学习是否能在密集交通中学习到高成功率和低碰撞率的安全高效变道策略？
• RQ2 在相同条件下，所提出的PPO方法与基于规则的智能体相比，成功率和碰撞率表现如何？
• RQ3 安全干预模块在不损害性能的前提下，能在多大程度上提升训练稳定性和泛化能力？
• RQ4 奖励函数的各个组成部分（舒适性、效率、安全性）对最终策略行为的贡献如何？
• RQ5 智能体是否能在未见过的交通场景中保持高性能和高安全性？

主要发现

• 在50次测试轨迹（每条轨迹1024个时间步）中，训练好的PPO智能体实现了99.15%的成功率和0.50%的碰撞率。
• 碰撞率从训练初期的20%下降至训练结束时的2%，表明安全性随时间逐步提升。
• 在探索初期，安全奖励有所下降，但随着智能体学会避免危险操作，安全奖励稳步上升。
• 平均累积奖励曲线持续改善，表明多目标奖励函数被有效学习。
• PPO智能体显著优于基于规则的智能体：其成功率比表现最佳的基于TTC的规则智能体高出9.64%，碰撞率低6.64%。
• 基于规则的智能体采用10米安全距离阈值时，碰撞率为0%，但成功率仅为70%，凸显了安全与效率之间的权衡，而PPO智能体成功缓解了这一矛盾。