[论文解读] MARVEL: Multi-Agent Reinforcement-Learning for Large-Scale Variable Speed Limits

Yuhang Zhang, Marcos Quiñones-Grueiro+5 more|arXiv (Cornell University)|Oct 18, 2023

Traffic control and management被引用 4

一句话总结

MARVEL 是一种可扩展的多智能体强化学习框架，用于高速公路大范围可变速度限制（VSL）控制，仅使用常见的交通传感器数据和兼顾安全与通行效率的多目标奖励函数。在 I-24 道路上，其相比已部署的规则基系统实现安全性能提升 63.4%，通行效率提升 14.6%，并成功完成真实数据部署测试，可在多种交通条件下实现可解释的决策。

ABSTRACT

Variable Speed Limit (VSL) control acts as a promising highway traffic management strategy with worldwide deployment, which can enhance traffic safety by dynamically adjusting speed limits according to real-time traffic conditions. Most of the deployed VSL control algorithms so far are rule-based, lacking generalizability under varying and complex traffic scenarios. In this work, we propose MARVEL (Multi-Agent Reinforcement-learning for large-scale Variable spEed Limits), a novel framework for large-scale VSL control on highway corridors with real-world deployment settings. MARVEL utilizes only sensing information observable in the real world as state input and learns through a reward structure that incorporates adaptability to traffic conditions, safety, and mobility, thereby enabling multi-agent coordination. With parameter sharing among all VSL agents, the proposed framework scales to cover corridors with many agents. The policies are trained in a microscopic traffic simulation environment, focusing on a short freeway stretch with 8 VSL agents spanning 7 miles. For testing, these policies are applied to a more extensive network with 34 VSL agents spanning 17 miles of I-24 near Nashville, TN, USA. MARVEL-based method improves traffic safety by 63.4% compared to the no control scenario and enhances traffic mobility by 58.6% compared to a state-of-the-practice algorithm that has been deployed on I-24. Besides, we conduct an explainability analysis to examine the decision-making process of the agents and explore the learned policy under different traffic conditions. Finally, we test the response of the policy learned from the simulation-based experiments with real-world data collected from I-24 and illustrate its deployment capability.

研究动机与目标

• 开发一种可扩展、可部署的 VSL 控制系统，用于长距离高速公路通道，仅使用常见可用的交通传感器数据。
• 设计一种多目标奖励函数，以在动态交通条件下平衡安全与通行效率。
• 确保在不同交通需求和驾驶员配合率下具备良好的泛化能力。
• 通过在未预先接触过的 I-24 实际数据上测试策略，实现真实世界部署。
• 通过特征重要性分析，在多种交通场景下实现对所学策略的可解释性。

提出的方法

• 该框架采用多智能体强化学习（MARL）架构，所有 VSL 智能体之间共享参数，以确保在大规模网络中的可扩展性。
• 每个智能体使用深度 Q 网络（DQN），其状态表示结合了本地和上游交通数据，包括速度、占有率以及下游可变信息标志（RDS）单元信息。
• 提出一种新颖的多目标奖励函数，整合安全（通过速度方差和震荡波减少）与通行效率（通过行程时间和速度一致性）以指导策略学习。
• 动作空间被离散化为 10 个速度限制等级（例如 30–70 英里/小时），并施加最大步长变化限制，以符合现实中的运行规则。
• 策略在基于 TransModeler 的微观仿真环境中训练，模拟 7 英里路段（含 8 个龙门架）后，再在包含 34 个龙门架的 17 英里 I-24 段进行测试。
• 通过基于梯度的归因方法实现可解释性，以分析在不同交通状态下特征重要性对决策的影响。

实验结果

研究问题

• RQ1 基于 MARL 的 VSL 系统是否能在不重新训练的情况下，泛化到不同交通状况和驾驶员配合率？
• RQ2 该 MARL 框架如何利用仅常见的传感器数据，扩展到包含数十个龙门架的长距离高速公路通道？
• RQ3 与实际应用中的规则基算法相比，所学策略在真实数据上对安全与通行效率的提升程度如何？
• RQ4 在不同交通状态下，智能体如何做出决策？哪些交通特征对其行为影响最大？
• RQ5 在仿真中学习的策略是否可成功应用于未接触过的实际真实数据，而无需事先暴露？

主要发现

• 与无控制情景相比，MARVEL 将交通安全性提升 63.4%，显著减少了震荡波和速度方差。
• 与目前部署在 I-24 上的规则基算法相比，该框架使交通通行效率提升 14.6%，在真实世界条件下表现出更优性能。
• 该策略在不同交通需求和驾驶员配合率下均表现出良好泛化能力，持续保持一致的性能提升。
• 可解释性分析显示，智能体在自由流与拥堵状态转换期间，高度依赖当前速度和占有率，这些特征具有关键影响。
• 在真实 I-24 RDS 数据中，系统成功响应了非周期性拥堵（例如下午 5 点发生车祸），尽管该事件未在训练中出现，表明其具备强大鲁棒性和实际部署潜力。
• 在真实 I-24 RDS 数据上的测试证实了现场部署的可行性，系统能对潜在拥堵做出平滑、主动的速度限制调整。