[论文解读] Diagnosing Reinforcement Learning for Traffic Signal Control

Guanjie Zheng, Xinshi Zang+6 more|arXiv (Cornell University)|May 12, 2019

Traffic control and management参考文献 24被引用 23

一句话总结

本文提出LIT，一种基于强化学习的交通信号控制框架，采用排队长度作为奖励信号，车辆数作为状态变量，其设计基于经典交通理论。通过简化奖励与状态设计，在均匀交通条件下实现了与最小化行程时间理论等价的性能，显著优于现有最先进方法。

ABSTRACT

With the increasing availability of traffic data and advance of deep reinforcement learning techniques, there is an emerging trend of employing reinforcement learning (RL) for traffic signal control. A key question for applying RL to traffic signal control is how to define the reward and state. The ultimate objective in traffic signal control is to minimize the travel time, which is difficult to reach directly. Hence, existing studies often define reward as an ad-hoc weighted linear combination of several traffic measures. However, there is no guarantee that the travel time will be optimized with the reward. In addition, recent RL approaches use more complicated state (e.g., image) in order to describe the full traffic situation. However, none of the existing studies has discussed whether such a complex state representation is necessary. This extra complexity may lead to significantly slower learning process but may not necessarily bring significant performance gain. In this paper, we propose to re-examine the RL approaches through the lens of classic transportation theory. We ask the following questions: (1) How should we design the reward so that one can guarantee to minimize the travel time? (2) How to design a state representation which is concise yet sufficient to obtain the optimal solution? Our proposed method LIT is theoretically supported by the classic traffic signal control methods in transportation field. LIT has a very simple state and reward design, thus can serve as a building block for future RL approaches to traffic signal control. Extensive experiments on both synthetic and real datasets show that our method significantly outperforms the state-of-the-art traffic signal control methods.

研究动机与目标

• 为解决基于强化学习的交通信号控制中奖励与状态设计缺乏理论依据的问题，此类方法常依赖于交通度量的临时加权组合。
• 确定在有效强化学习的交通控制中，是否需要复杂的状态表示（如图像）。
• 确保强化学习奖励的优化能真正实现最小化行程时间——最终的控制目标。
• 通过消融分析识别有效强化学习在交通信号控制中的关键组件。
• 弥合基于强化学习的控制与经典交通理论之间的鸿沟，以实现更可靠、可解释的信号配时。

提出的方法

• 提出LIT，一种强化学习框架，采用排队长度作为奖励信号，已证明在均匀交通条件下与最小化行程时间等价。
• 采用仅包含每条车道车辆数的最小状态表示，避免使用图像等高维输入。
• 从Webster延迟公式推导出理论依据，表明在均匀到达条件下最小化排队长度等价于最小化总行程时间。
• 整合强化学习的三个关键特性：在线学习、基于策略轨迹的采样引导，以及通过贝尔曼方程实现的未来奖励预测。
• 采用基于Q-learning的算法，使用表格型Q表，在简化的状态-动作空间中实现高效学习。
• 通过移除在线学习、采样引导或预测组件，开展消融研究以评估各成分的独立贡献。

实验结果

研究问题

• RQ1 基于排队长度的简单奖励是否能保证在交通信号控制中实现行程时间的最小化？
• RQ2 在交通信号控制的强化学习中，是否需要图像等复杂状态表示，还是最小状态已足够？
• RQ3 核心强化学习组件——在线学习、采样引导与未来奖励预测——对性能的贡献如何？
• RQ4 基于强化学习的信号控制能否在经典交通理论基础上建立理论基础？
• RQ5 在合成与真实交通场景中，最小化状态与奖励设计是否优于复杂且临时设计的方案？

主要发现

• 在真实世界数据上，LIT采用排队长度作为奖励、车辆数作为状态，行程时间仅为31.66秒，显著优于所有其他最先进方法。
• 使用基于图像的状态（M）时性能更差（38.16秒），而仅使用车辆数时为31.66秒，表明高维状态并未提升性能。
• 在状态中增加等待时间（W）或排队长度（L）并未提升性能，反而低于仅使用车辆数的状态，证实最小状态已足够。
• 仅使用延迟（D）、等待时间（W）或车辆数（V）作为奖励，或与排队长度（L）组合，均无法超越LIT基线，最佳替代方案（V,L）仅达到33.46秒。
• 移除任意一个关键强化学习特性——在线学习、采样引导或预测——均导致性能显著下降，证实三者均为必要。
• 在真实世界案例研究中，在线LIT在19:00后能适应突发交通增长，而离线LIT则失效并引发拥堵，凸显在线学习的关键作用。