[论文解读] Behavior Planning For Connected Autonomous Vehicles Using Feedback Deep Reinforcement Learning.

Songyang Han, Fei Miao|arXiv (Cornell University)|Mar 9, 2020

Autonomous Vehicle Technology and Safety参考文献 38被引用 8

一句话总结

本文提出了一种用于联网自动驾驶汽车（CAVs）行为规划的反馈深度Q学习方法，将问题建模为混合部分可观测马尔可夫决策过程（HPOMDP），以在安全性、舒适性和交通效率之间取得平衡。该方法在学习过程中确保了安全集的前向不变性，并在交通流和舒适性方面优于IDM模型，同时在整个训练过程中保持了安全性。

ABSTRACT

With the development of communication technologies, connected autonomous vehicles (CAVs) can share information with each other. We propose a novel behavior planning method for CAVs to decide actions such as whether to change lane or keep lane based on the observation and shared information from neighbors, and to make sure that there exist corresponding control maneuvers such as acceleration and steering angle to guarantee the safety of each individual autonomous vehicle. We formulate this problem as a hybrid partially observable Markov decision process (HPOMDP) to consider objectives such as improving traffic flow efficiency and driving comfort and safety requirements. The discrete state transition is determined by the proposed feedback deep Q-learning algorithm using the feedback action from an underlying controller based on control barrier functions. The feedback deep Q-learning algorithm we design aims to solve the critical challenge of reinforcement learning (RL) in a physical system: guaranteeing the safety of the system while the RL is exploring the action space to increase the reward. We prove that our method renders a forward invariant safe set for the continuous state physical dynamic model of the system while the RL agent is learning. In experiments, our behavior planning method can increase traffic flow and driving comfort compared with the intelligent driving model (IDM). We also validate that our method maintains safety during the learning process.

研究动机与目标

• 为解决在物理自动驾驶汽车系统中强化学习（RL）探索期间确保安全性的挑战。
• 设计一种联网自动驾驶汽车（CAVs）的行为规划框架，利用共享的邻近车辆信息实现协同决策。
• 提升自动驾驶汽车运行中的交通流效率、驾驶舒适性与安全性要求。
• 通过控制屏障函数和反馈动作集成，正式保证强化学习训练过程中的系统安全性。
• 验证所提方法在保持安全性的同时，相较于基线模型（如IDM）实现更优性能。

提出的方法

• 将行为规划问题建模为混合部分可观测马尔可夫决策过程（HPOMDP），以捕捉离散决策（如变道）和连续动力学（如加速度、转向）的特性。
• 提出一种反馈深度Q学习算法，利用基于控制屏障函数的控制器提供的反馈动作，确保探索过程中的安全性。
• 采用反馈机制，将RL智能体的动作与安全控制动作关联，确保连续状态始终位于前向不变的安全集合内。
• 将来自邻近CAVs的共享信息作为观测空间的一部分，以支持协同行为规划。
• 设计奖励函数以平衡交通效率、驾驶舒适性与安全约束。
• 数学上证明了在所提出的反馈机制下，学习过程能保持安全集合的前向不变性。

实验结果

研究问题

• RQ1 基于强化学习的CAV行为规划器是否能在学习探索阶段保证安全性？
• RQ2 将基于控制屏障函数的控制器反馈集成到强化学习中，如何提升物理车辆系统中RL的安全性与稳定性？
• RQ3 与智能驾驶模型（IDM）相比，所提方法在多大程度上提升了交通流效率与驾驶舒适性？
• RQ4 所提方法是否能在整个训练过程中保持安全性，而不会损害性能？
• RQ5 共享邻近车辆信息在提升联网自动驾驶汽车之间协同行为规划方面的有效性如何？

主要发现

• 所提出的反馈深度Q学习方法确保了连续状态空间中安全集合的前向不变性，形式化保证了强化学习训练期间的安全性。
• 实验评估表明，与智能驾驶模型（IDM）相比，该方法在交通流效率方面有所提升。
• 通过减少加速度和转向波动，所提方法显著提升了驾驶舒适性。
• 在整个学习过程中均保持了安全性，实验中未观察到任何安全违规事件。
• 共享邻近车辆信息的集成使得变道决策更加协调与高效。
• 在相同仿真条件下，该方法在交通吞吐量和乘客舒适性指标上均优于IDM。