[论文解读] Decision-making at Unsignalized Intersection for Autonomous Vehicles: Left-turn Maneuver with Deep Reinforcement Learning

Wang, Feng, Shi, Dongjie+2 more|arXiv (Cornell University)|Aug 14, 2020

Traffic control and management参考文献 30被引用 15

一句话总结

本文提出了一种基于深度强化学习（DRL）的决策框架，用于自动驾驶车辆在四向无信号控制交叉口安全高效地执行左转操作。通过使用深度Q网络（DQN）和双DQN算法，该方法在仿真中学习最优策略，显著降低了碰撞率，并提升了复杂城市环境中的交通效率。

ABSTRACT

Decision-making module enables autonomous vehicles to reach appropriate maneuvers in the complex urban environments, especially the intersection situations. This work proposes a deep reinforcement learning (DRL) based left-turn decision-making framework at unsignalized intersection for autonomous vehicles. The objective of the studied automated vehicle is to make an efficient and safe left-turn maneuver at a four-way unsignalized intersection. The exploited DRL methods include deep Q-learning (DQL) and double DQL. Simulation results indicate that the presented decision-making strategy could efficaciously reduce the collision rate and improve transport efficiency. This work also reveals that the constructed left-turn control structure has a great potential to be applied in real-time.

研究动机与目标

• 开发一种用于无信号交叉口自动驾驶车辆的实时决策框架。
• 解决在无交通信号情况下安全高效执行左转操作的挑战。
• 评估深度强化学习在复杂城市交通场景中的性能。
• 降低左转操作过程中的碰撞率并提升交通流效率。
• 验证所提出的基于DRL的控制结构在实时部署中的可行性和可扩展性。

提出的方法

• 该框架采用深度Q网络（DQN）和双DQN算法，从状态观测中学习最优左转决策。
• 状态特征包括周围车辆相对于本车的相对位置、速度和距离。
• 设计了密集的奖励函数，以鼓励实现安全、及时且高效的左转操作。
• DRL智能体在具有多个冲突交通流的仿真城市环境中进行训练。
• 使用经验回放和目标网络以稳定训练并提升学习收敛性。
• 在不同交通密度下评估控制结构，以检验其鲁棒性和可扩展性。

实验结果

研究问题

• RQ1 深度强化学习能否有效学习无信号交叉口的安全高效左转决策？
• RQ2 在该任务中，DQN与双DQN在收敛速度和性能稳定性方面有何差异？
• RQ3 与基线策略相比，所提出的框架在多大程度上降低了碰撞率？
• RQ4 交通密度如何影响DRL驱动决策系统的性能和鲁棒性？
• RQ5 所学习的策略能否在实时应用中有效部署？

主要发现

• 所提出的DRL框架显著降低了无信号交叉口左转操作中的碰撞率。
• 双DQN在训练稳定性和收敛速度方面优于标准DQN。
• 通过最小化不必要的等待时间，系统实现了更高的交通效率。
• 所学习的策略在不同交通密度下均表现出良好的泛化能力，表明其具有鲁棒性。
• 该控制结构在自动驾驶系统中具备强大的实时部署潜力。
• 仿真结果证实，该框架在复杂交叉口场景中有效平衡了安全与效率。