[论文解读] Efficient Pressure: Improving efficiency for signalized intersections

Qiang Wu, Liang Zhang+4 more|arXiv (Cornell University)|Dec 4, 2021

Traffic control and management被引用 12

一句话总结

本文提出了一种高效的压强（EP），这是一种基于车辆队列差异的新型交通状态表征，用于改进信号灯控制（TSC）。通过将EP整合到具有固定相位时长和四相信号的协议中，作者提出了Efficient-MP（一种传统方法）和Efficient-XLight（一种通用强化学习模板），在复杂度更低且训练需求更少的情况下，实现了优于现有基于强化学习方法的最先进性能。

ABSTRACT

Since conventional approaches could not adapt to dynamic traffic conditions, reinforcement learning (RL) has attracted more attention to help solve the traffic signal control (TSC) problem. However, existing RL-based methods are rarely deployed considering that they are neither cost-effective in terms of computing resources nor more robust than traditional approaches, which raises a critical research question: how to construct an adaptive controller for TSC with less training and reduced complexity based on RL-based approach? To address this question, in this paper, we (1) innovatively specify the traffic movement representation as a simple but efficient pressure of vehicle queues in a traffic network, namely efficient pressure (EP); (2) build a traffic signal settings protocol, including phase duration, signal phase number and EP for TSC; (3) design a TSC approach based on the traditional max pressure (MP) approach, namely efficient max pressure (Efficient-MP) using the EP to capture the traffic state; and (4) develop a general RL-based TSC algorithm template: efficient Xlight (Efficient-XLight) under EP. Through comprehensive experiments on multiple real-world datasets in our traffic signal settings' protocol for TSC, we demonstrate that efficient pressure is complementary to traditional and RL-based modeling to design better TSC methods. Our code is released on Github.

研究动机与目标

• 解决传统TSC方法在动态交通条件下适应能力不足的问题。
• 在提升鲁棒性的同时，降低基于强化学习的TSC方法的计算成本和训练时间。
• 识别一种高效、低复杂度的交通状态表征，以同时提升传统方法和基于强化学习的TSC性能。
• 制定一种标准化的交通信号设置协议，以确保不同TSC方法之间的一致且公平的比较。

提出的方法

• 提出高效压强（EP）作为简化但有效的交通状态表征，定义为进出车道队列长度的差异。
• 建立一种标准化的TSC协议，采用固定15秒相位时长和四相信号配时，以确保评估的一致性。
• 设计Efficient-MP，一种传统控制方法，利用EP指导信号相位切换，以最大化网络吞吐量。
• 开发Efficient-XLight，一种通用的基于强化学习的算法模板，使用EP作为状态表征，并可与现有强化学习框架集成。
• 在强化学习框架中采用基于交叉口压强（队列长度差异）的奖励函数，以指导学习过程。
• 在真实世界数据集（济南海和杭州）上，使用一致的超参数和评估协议对框架进行验证。

实验结果

研究问题

• RQ1 像高效压强（EP）这样的简化交通状态表征是否能在TSC中优于复杂表征？
• RQ2 在传统控制方法（Efficient-MP）中使用EP是否能实现优于最先进基于强化学习的TSC方法的性能？
• RQ3 当将EP作为状态输入时，Efficient-XLight模板是否能显著提升现有基于强化学习的TSC算法性能？
• RQ4 是否存在一种具有固定相位时长和相位数量的标准化TSC协议，可实现方法间公平且可复现的比较？
• RQ5 通过EP降低模型复杂度和训练时间，是否能提升基于强化学习的TSC系统在真实场景中的可部署性？

主要发现

• Efficient-MP在传统方法和基于强化学习的TSC方法中均实现了最先进性能，甚至优于MPLight和CoLight等先进强化学习模型。
• 当使用相同的基于EP的表征时，传统最大压强（MP）方法的性能与或优于许多近期基于强化学习的方法。
• 在CoLight中使用EP作为交通状态表征，相比使用原始车辆计数或其他压强变体，可将平均行程时间减少高达10.5%。
• Efficient-XLight显著提升了原始MPLight和CoLight版本的性能，证明了基于EP的模板的有效性。
• 四相信号配置配合15秒相位时长在所有测试方法中均取得最佳性能，验证了所提出的协议的有效性。
• 基于EP的模型实现了O(1)计算复杂度的高性能，使其比长训练时间的强化学习方法更适合实时部署。