[论文解读] Distributed traffic light control at uncoupled intersections with real-world topology by deep reinforcement learning

Mark Schutera, Niklas Goby+2 more|arXiv (Cornell University)|Nov 27, 2018

Traffic control and management参考文献 17被引用 7

一句话总结

该论文提出了一种基于深度强化学习（DRL）的分布式交通信号控制（TLC）方法，适用于具有真实拓扑结构的非耦合交叉口，将相位选择和切换时序同时纳入动作空间。在SUMO中对 Friedrichshafen 的实际道路网络进行评估，该方法显著降低了时间损失——在不同交叉口几何形态下，平均优于基线的固定周期、基于空档和基于时间的策略至少5秒，展现出对非规则拓扑结构的鲁棒性。

ABSTRACT

This work examines the implications of uncoupled intersections with local real-world topology and sensor setup on traffic light control approaches. Control approaches are evaluated with respect to: Traffic flow, fuel consumption and noise emission at intersections. The real-world road network of Friedrichshafen is depicted, preprocessed and the present traffic light controlled intersections are modeled with respect to state space and action space. Different strategies, containing fixed-time, gap-based and time-based control approaches as well as our deep reinforcement learning based control approach, are implemented and assessed. Our novel DRL approach allows for modeling the TLC action space, with respect to phase selection as well as selection of transition timings. It was found that real-world topologies, and thus irregularly arranged intersections have an influence on the performance of traffic light control approaches. This is even to be observed within the same intersection types (n-arm, m-phases). Moreover we could show, that these influences can be efficiently dealt with by our deep reinforcement learning based control approach.

研究动机与目标

• 研究真实交叉口拓扑结构（尤其是不规则、非对称布局）对分布式交通信号控制（TLC）性能的影响。
• 评估深度强化学习（DRL）在有限传感器数据条件下处理复杂真实交叉口几何结构的有效性。
• 在真实交通条件下，对比DRL-based TLC与固定周期、基于空档和基于时间控制策略的性能。
• 证明DRL能够同时建模相位选择与切换时序，实现在非理想、真实环境下的自适应优化。

提出的方法

• Friedrichshafen的真实道路网络在SUMO中被建模为有向图，交叉口以节点表示，路段以边表示。
• 交通信号控制通过DRL智能体实现，该智能体被训练以同时选择交通信号相位和切换时序，扩展了标准仅控制时序的动作空间。
• 状态空间被限制在真实传感器数据范围内，主要来自环形线圈检测器（ILD），避免了过度乐观的状态表示。
• 设计了自定义奖励函数以最小化时间损失，定义为车辆因在交叉口停车而低于最高速度所累计的时间。
• DRL智能体在基于微观交通仿真的环境中进行训练与评估，使用3600步的测试序列。
• 基线方法包括固定周期、基于空档和基于时间的控制策略，所有方法均在相同的仿真条件下进行评估。

实验结果

研究问题

• RQ1 真实交叉口拓扑结构（尤其是不规则、非对称布局）如何影响分布式交通信号控制系统的性能？
• RQ2 基于DRL的TLC方法能否在真实传感器约束下有效处理多种交叉口几何形态（例如三岔与四岔、相位数量不同）？
• RQ3 在DRL动作空间中同时建模相位选择与切换时序，是否能带来优于仅控制时序方法的性能？
• RQ4 与传统控制策略（固定周期、基于空档、基于时间）相比，DRL方法在时间损失、燃油消耗和噪声排放方面表现如何？
• RQ5 DRL模型在不同交叉口类型中减少时间损失的波动程度如何？其对异常值的处理能力如何？

主要发现

• 与基线方法相比，DRL方法在几乎所有评估的交叉口（包括相同臂数和相位数的交叉口）中，平均时间损失至少减少了5秒。
• 真实拓扑结构显著影响TLC性能，相同类型交叉口（如四相三臂路口）之间的时间损失差异达4至11秒，主要由几何不规则性引起。
• DRL方法的时间损失四分位距低于6秒，表明其在大多数车辆中对交通流具有稳定和缓和作用。
• 在J1、J2、J3和J4交叉口，DRL模型优于所有基线方法，仅在J4处性能与最佳基线相当。
• Welch两样本t检验确认，DRL方法与基线方法在几乎所有交叉口的平均时间损失上均存在统计显著差异。
• 尽管存在部分异常值，DRL模型的性能仍处于基线结果范围内，表明其具备鲁棒性和实际可行性。