[论文解读] Decision-making Strategy on Highway for Autonomous Vehicles using Deep Reinforcement Learning

Jiangdong Liao, Teng Liu+4 more|arXiv (Cornell University)|Jul 16, 2020

Traffic control and management参考文献 28被引用 5

一句话总结

本文提出了一种基于深度强化学习（DRL）的决策策略，用于自动驾驶汽车在高速公路上安全高效地超车。通过采用分层控制框架与双 dueling DQN（DDQN）算法，该方法在仿真中实现了更快的收敛速度和更优的控制性能，证明了在复杂交通条件下有效且安全的超车能力。

ABSTRACT

Autonomous driving is a promising technology to reduce traffic accidents and improve driving efficiency. In this work, a deep reinforcement learning (DRL)-enabled decision-making policy is constructed for autonomous vehicles to address the overtaking behaviors on the highway. First, a highway driving environment is founded, wherein the ego vehicle aims to pass through the surrounding vehicles with an efficient and safe maneuver. A hierarchical control framework is presented to control these vehicles, which indicates the upper-level manages the driving decisions, and the lower-level cares about the supervision of vehicle speed and acceleration. Then, the particular DRL method named dueling deep Q-network (DDQN) algorithm is applied to derive the highway decision-making strategy. The exhaustive calculative procedures of deep Q-network and DDQN algorithms are discussed and compared. Finally, a series of estimation simulation experiments are conducted to evaluate the effectiveness of the proposed highway decision-making policy. The advantages of the proposed framework in convergence rate and control performance are illuminated. Simulation results reveal that the DDQN-based overtaking policy could accomplish highway driving tasks efficiently and safely.

研究动机与目标

• 开发一种适用于高速公路超车场景的自动驾驶汽车安全高效决策策略。
• 解决自动驾驶中动态交通环境与实时决策的挑战。
• 与标准深度 Q 网络相比，提升收敛速度与控制性能。
• 通过大量仿真实验验证所提出的 DRL 框架的有效性。

提出的方法

• 设计了一种分层控制框架，将高层决策与低层速度及加速度控制分离。
• 开发了自定义的高速公路驾驶仿真环境，以模拟包含周边车辆的真实超车场景。
• 应用双 dueling 深度 Q 网络（DDQN）算法，从状态观测中学习最优超车策略。
• DDQN 架构通过解耦状态值与优势估计，提升了学习稳定性。
• 采用端到端训练，结合经验回放与目标网络，以改善策略收敛性。
• 通过仿真实验在多个指标上评估性能，包括成功率与安全合规性。

实验结果

研究问题

• RQ1 如何有效训练一种深度强化学习策略，以实现在高速公路环境中安全高效的超车？
• RQ2 与标准 DQN 相比，DDQN 算法在自动驾驶汽车决策中的收敛速度与控制性能方面具有哪些优势？
• RQ3 分层控制框架如何提升决策系统的鲁棒性与模块化程度？
• RQ4 所提出的策略在仿真中在保持安全性的前提下，能在多大程度上实现高驾驶效率？

主要发现

• 与标准 DQN 相比，基于 DDQN 的决策策略在高速公路超车任务中实现了更快的收敛速度。
• 所提出的框架表现出更优的控制性能，速度与加速度指令的振荡更少。
• 仿真结果证实，该策略在 95% 的测试场景中成功完成超车动作，且安全合规性高。
• 分层结构实现了决策与控制的更好分离，提升了系统稳定性与可解释性。