[论文解读] Decision-making for Autonomous Vehicles on Highway: Deep Reinforcement Learning with Continuous Action Horizon

Chen, Hao, Hong Wang+1 more|arXiv (Cornell University)|Aug 26, 2020

Autonomous Vehicle Technology and Safety参考文献 28被引用 8

一句话总结

本文提出了一种基于PPO增强的深度强化学习（DRL）框架，用于高速公路场景下的自动驾驶车辆决策，支持连续动作时域。通过利用近端策略优化（PPO）提升样本效率与训练稳定性，该方法实现了安全、高效且自适应的变道与跟车行为，在多样化驾驶场景中展现出优异的最优性与鲁棒性。

ABSTRACT

Decision-making strategy for autonomous vehicles de-scribes a sequence of driving maneuvers to achieve a certain navigational mission. This paper utilizes the deep reinforcement learning (DRL) method to address the continuous-horizon decision-making problem on the highway. First, the vehicle kinematics and driving scenario on the freeway are introduced. The running objective of the ego automated vehicle is to execute an efficient and smooth policy without collision. Then, the particular algorithm named proximal policy optimization (PPO)-enhanced DRL is illustrated. To overcome the challenges in tardy training efficiency and sample inefficiency, this applied algorithm could realize high learning efficiency and excellent control performance. Finally, the PPO-DRL-based decision-making strategy is estimated from multiple perspectives, including the optimality, learning efficiency, and adaptability. Its potential for online application is discussed by applying it to similar driving scenarios.

研究动机与目标

• 开发一种适用于高速公路场景的自动驾驶车辆安全、高效且鲁棒的决策策略。
• 解决基于DRL的自动驾驶决策中样本效率低下与收敛缓慢的问题。
• 通过在连续动作空间中应用近端策略优化（PPO）提升学习稳定性与控制性能。
• 评估策略在多样化高速公路场景下的最优性、学习效率与适应性。
• 探索其在在线部署及新驾驶环境中的泛化潜力。

提出的方法

• 本研究将高速公路驾驶环境建模为具有连续动作空间的局部可观察马尔可夫决策过程（POMDP）。
• 采用近端策略优化（PPO）训练深度神经网络策略，直接输出加速度与转向指令。
• PPO算法通过引入信任区域机制以稳定训练过程并防止策略发生过大更新。
• 该框架结合了车辆运动学模型（采用自行车模型）并整合了真实的交通动态特性。
• 奖励函数设计包含碰撞避免、速度跟踪、车道偏好及操作平滑性等项。
• 通过在不同车道数量与周围车辆密度的多种驾驶场景中进行仿真，对方法进行了评估。

实验结果

研究问题

• RQ1 PPO-DRL在连续动作高速公路决策中如何提升学习效率与样本效率？
• RQ2 所学习的策略在不同车道配置与车辆密度的新驾驶场景中具有多大程度的泛化能力？
• RQ3 与基线DRL方法相比，该策略在最优性、安全性与收敛速度方面表现如何？
• RQ4 在高密度或受阻塞交通条件下，哪些因素影响策略的适应能力？
• RQ5 该策略是否可有效应用于在线或实时驾驶场景？

主要发现

• 与标准DRL基线方法相比，PPO-DRL策略在学习效率与收敛速度方面表现更优。
• 在场景1（增加一条车道）中，由于变道机会提升，策略获得了更高的平均奖励。
• 在场景2（车辆更多、车道更少）中，策略通过避免碰撞维持了安全性，即使在复杂交通条件下亦表现稳健。
• 场景1中的第5集展示了策略的适应能力：当所有车道被阻塞时，成功通过跟车策略避免了碰撞。
• 场景2中的第6集揭示了一次高风险超车操作导致碰撞，表明仍需更长训练时间或引入通信机制。
• 该策略在新场景中表现出强大的泛化能力，证实其在动态环境中的鲁棒性与适应性。