[论文解读] Leveraging the Capabilities of Connected and Autonomous Vehicles and Multi-Agent Reinforcement Learning to Mitigate Highway Bottleneck Congestion

Paul Ha, Sikai Chen+4 more|arXiv (Cornell University)|Oct 11, 2020

Traffic control and managementEngineering被引用 22

一句话总结

本文提出了一种基于图卷积网络（GCN）和深度确定性策略梯度（DDPG）的多智能体强化学习（MARL）框架，使联网和自动驾驶车辆（CAVs）能够协同缓解混合交通中的高速公路瓶颈拥堵。即使在仅10% CAV渗透率的情况下，基于强化学习的控制器也能显著减少拥堵，通过有效处理动态、拓扑依赖的交通输入，其性能优于基于规则的方法。

ABSTRACT

Active Traffic Management strategies are often adopted in real-time to address such sudden flow breakdowns. When queuing is imminent, Speed Harmonization (SH), which adjusts speeds in upstream traffic to mitigate traffic showckwaves downstream, can be applied. However, because SH depends on driver awareness and compliance, it may not always be effective in mitigating congestion. The use of multiagent reinforcement learning for collaborative learning, is a promising solution to this challenge. By incorporating this technique in the control algorithms of connected and autonomous vehicle (CAV), it may be possible to train the CAVs to make joint decisions that can mitigate highway bottleneck congestion without human driver compliance to altered speed limits. In this regard, we present an RL-based multi-agent CAV control model to operate in mixed traffic (both CAVs and human-driven vehicles (HDVs)). The results suggest that even at CAV percent share of corridor traffic as low as 10%, CAVs can significantly mitigate bottlenecks in highway traffic. Another objective was to assess the efficacy of the RL-based controller vis-\\`a-vis that of the rule-based controller. In addressing this objective, we duly recognize that one of the main challenges of RL-based CAV controllers is the variety and complexity of inputs that exist in the real world, such as the information provided to the CAV by other connected entities and sensed information. These translate as dynamic length inputs which are difficult to process and learn from. For this reason, we propose the use of Graphical Convolution Networks (GCN), a specific RL technique, to preserve information network topology and corresponding dynamic length inputs. We then use this, combined with Deep Deterministic Policy Gradient (DDPG), to carry out multi-agent training for congestion mitigation using the CAV controllers.

研究动机与目标

• 开发一种可扩展、实时的控制策略，用于缓解联网和自动驾驶车辆（CAVs）参与下的高速公路瓶颈拥堵。
• 克服基于规则的速度协调方法的局限性，后者依赖于人类驾驶员的配合，因此存在不一致性。
• 设计一种多智能体强化学习（MARL）控制器，使其在存在人类驾驶车辆（HDVs）的混合交通中仍能有效运行。
• 通过图卷积网络（GCN）解决来自联网实体的动态长度、拓扑依赖输入的挑战。
• 在真实交通条件下，评估基于强化学习的控制器相对于基于规则的控制器的性能。

提出的方法

• 本研究采用多智能体强化学习（MARL）框架，其中每辆CAV作为独立智能体，学习以优化交通流。
• 图卷积网络（GCN）用于处理代表交通连接性和车辆交互的动态、可变长度输入，同时保持空间拓扑结构。
• 采用DDPG算法实现连续动作空间控制，使CAV能够通过平滑的速度调整来减轻冲击波传播。
• MARL框架在包含CAV和HDV的模拟混合交通环境中进行训练，以反映现实世界中的部署条件。
• 输入包括附近车辆的位置、速度以及连接性数据，通过GCN编码以保持结构信息。
• 控制器被训练以最小化拥堵指标，如总行程时间和冲击波振幅。

实验结果

研究问题

• RQ1 在CAV渗透率较低的情况下，多智能体强化学习控制器能否有效缓解混合交通中的高速公路瓶颈拥堵？
• RQ2 与基于规则的速度协调策略相比，基于GCN的MARL控制器性能如何？
• RQ3 所提出的框架能否在保持交通拓扑信息的同时，处理来自联网车辆网络的动态、可变长度输入？
• RQ4 RL控制器实现显著拥堵缓解所需的最低CAV渗透率是多少？
• RQ5 在混合交通场景中，该基于强化学习的控制器对交通密度和驾驶员行为变化的鲁棒性如何？

主要发现

• 即使在仅10% CAV渗透率的情况下，基于强化学习的控制器也能显著减少拥堵，表明在低采用率下仍具高度有效性。
• 基于GCN的输入处理使模型能够比传统方法更有效地处理动态、拓扑依赖的交通数据。
• 基于强化学习的控制器在减少总行程时间和减轻冲击波振幅方面优于基于规则的速度协调方法。
• 采用DDPG可实现稳定、连续的控制动作，从而带来更平滑的速度调整并减少振荡。
• 该框架在不同交通密度和驾驶员行为模式下均保持良好性能，表明其具备鲁棒性。
• GCN与MARL的结合使复杂、现实世界交通网络中的可扩展且可泛化的拥堵缓解成为可能。