[论文解读] Differential Variable Speed Limits Control for Freeway Recurrent Bottlenecks via Deep Reinforcement learning

Yuankai Wu, Huachun Tan+1 more|arXiv (Cornell University)|Oct 25, 2018

Traffic control and management参考文献 7被引用 18

一句话总结

本文提出了一种基于深度强化学习（DRL）的差分可变速度限制（DVSL）控制系统，通过一种新型的演员-评论家架构，动态地为高速公路车道分配不同的限速。该方法在连续动作空间中学习最优限速策略，通过DDPG模型在多种奖励信号下训练，显著优于静态或统一的VSL策略，在高自动驾驶车辆（CAV）仿真环境中提升了交通效率、安全性并减少了排放。

ABSTRACT

Variable speed limits (VSL) control is a flexible way to improve traffic condition,increase safety and reduce emission. There is an emerging trend of using reinforcement learning technique for VSL control and recent studies have shown promising results. Currently, deep learning is enabling reinforcement learning to develope autonomous control agents for problems that were previously intractable. In this paper, we propose a more effective deep reinforcement learning (DRL) model for differential variable speed limits (DVSL) control, in which the dynamic and different speed limits among lanes can be imposed. The proposed DRL models use a novel actor-critic architecture which can learn a large number of discrete speed limits in a continues action space. Different reward signals, e.g. total travel time, bottleneck speed, emergency braking, and vehicular emission are used to train the DVSL controller, and comparison between these reward signals are conducted. We test proposed DRL baased DVSL controllers on a simulated freeway recurrent bottleneck. Results show that the efficiency, safety and emissions can be improved by the proposed method. We also show some interesting findings through the visulization of the control policies generated from DRL models.

研究动机与目标

• 开发一种数据驱动的自适应DVSL控制策略，动态调整各车道的速度限制，以缓解高速公路的周期性瓶颈。
• 通过利用深度强化学习，克服基于规则或依赖预测的VSL系统的局限性，实现主动、实时的控制。
• 评估不同奖励信号（如行程时间、安全性、排放）对DRL驱动的DVSL控制器性能和可解释性的影响。
• 通过可视化不同交通条件下合并区域的速度限制响应，提升DRL策略的可解释性。
• 在高CAV渗透率环境下，证明DVSL的可行性和有效性，其中车辆合规性预计接近完美。

提出的方法

• 采用深度确定性策略梯度（DDPG）演员-评论家框架，学习多车道上连续动作空间的速度限制策略。
• 状态表示包括上游、合并区域和匝道的交通占有率，使智能体能够感知局部拥堵动态。
• DRL智能体使用四种不同的奖励信号进行训练：总行程时间、瓶颈速度、紧急制动频率和车辆排放。
• 基于神经网络的演员根据交通状态输入生成车道特定的限速，实现动态且异质的速度控制。
• 通过模拟不同合并区域占有率的输入状态并观察相应的限速输出，分析策略的可解释性。
• 在高保真度的周期性高速公路瓶颈仿真环境中评估该框架，支持对动态限速的精确执行。

实验结果

研究问题

• RQ1 基于DRL的DVSL控制器在减少拥堵和提升交通效率方面，与静态或统一的VSL策略相比表现如何？
• RQ2 不同奖励函数（如行程时间、安全性、排放）对DRL智能体性能和策略结构的影响是什么？
• RQ3 即使在自由流条件下，DRL智能体是否能学会为不同车道分配不同的限速？这表明了何种交通交互缓解能力？
• RQ4 所学的DVSL策略在多大程度上可解释？哪种奖励信号能产生最透明且逻辑一致的控制行为？
• RQ5 在高CAV环境中，DVSL控制在多大程度上可减少紧急制动事件和车辆排放？

主要发现

• 基于DRL的DVSL控制器在减少总行程时间方面显著优于静态和统一的VSL策略，所有基于奖励的模型均表现出改进。
• DDPG- $ r^1 $ 模型（基于总行程时间训练）产生了最可解释且逻辑一致的速度限制策略，在最左侧车道保持较高车速，并仅在合并区域拥堵超过20%占有率时才降低中间车道的限速。
• 所有基于DRL的DVSL模型相比基线策略均减少了紧急制动事件和车辆排放，表明安全性与环境效益得到提升。
• 速度限制策略的相关性分析表明，使用简单奖励信号（如 $ r^1 $）训练的模型产生了更连贯、更可预测的控制行为，优于使用复杂多目标奖励的模型。
• 神经网络智能体学会了在拥堵形成前，主动降低流入风险较高的车道的限速，展现出主动控制能力。
• 可视化结果表明，DVSL策略对合并区域占有率敏感，最左侧车道始终维持较高车速，表明有效缓解了变道冲突。