[论文解读] Intelligent Traffic Signal Control: Using Reinforcement Learning with Partial Detection

Rusheng Zhang, Akihiro Ishikawa+3 more|arXiv (Cornell University)|Jul 4, 2018

Traffic control and management被引用 14

一句话总结

本文提出了一种基于强化学习（RL）的交通信号控制方法，用于部分检测的智能交通系统（ITS），其中仅能观测到具备DSRC支持的V2I通信的车辆。通过利用RL处理部分可观测性及低检测率问题，该系统即使在20%的检测率下也能显著降低平均车辆等待时间，展现出在各种交通与网络条件下的稳健性能。

ABSTRACT

Intelligent Transportation Systems (ITS) have attracted the attention of researchers and the general public alike as a means to alleviate traffic congestion. Recently, the maturity of wireless technology has enabled a cost-efficient way to achieve ITS by detecting vehicles using Vehicle to Infrastructure (V2I) communications. Traditional ITS algorithms, in most cases, assume that every vehicle is observed, such as by a camera or a loop detector, but a V2I implementation would detect only those vehicles with wireless communications capability. We examine a family of transportation systems, which we will refer to as `Partially Detected Intelligent Transportation Systems'. An algorithm that can act well under a small detection rate is highly desirable due to gradual penetration rates of the underlying wireless technologies such as Dedicated Short Range Communications (DSRC) technology. Artificial Intelligence (AI) techniques for Reinforcement Learning (RL) are suitable tools for finding such an algorithm due to utilizing varied inputs and not requiring explicit analytic understanding or modeling of the underlying system dynamics. In this paper, we report a RL algorithm for partially observable ITS based on DSRC. The performance of this system is studied under different car flows, detection rates, and topologies of the road network. Our system is able to efficiently reduce the average waiting time of vehicles at an intersection, even with a low detection rate.

研究动机与目标

• 解决由于无线技术普及率有限导致仅部分车辆可被观测的局部检测ITS中的交通信号控制挑战。
• 开发一种在早期DSRC部署阶段典型的低检测率条件下仍表现良好的智能控制算法。
• 设计一种无需掌握完整交通动态信息或显式建模环境的系统。
• 评估基于RL的控制器在不同交通流量、检测率及道路网络拓扑结构下的性能。

提出的方法

• 采用强化学习（RL）学习最优信号配时策略，而无需显式建模交通动态。
• 设计RL智能体在部分可观测条件下运行，仅使用DSRC车辆提供的状态信息。
• 采用基于值函数的RL方法（如Q-learning或类似DQN的方法），将观测到的车辆状态映射为最优信号相位动作。
• 在具有不同检测率和网络拓扑结构的模拟交通环境中训练智能体。
• 设计状态表示方法，将部分车辆检测结果聚合为可用于信号控制的交通状态估计。
• 优化RL奖励函数，以最小化交叉口的平均车辆延迟。

实验结果

研究问题

• RQ1 随着DSRC车辆检测率下降，基于RL的交通信号控制器性能如何退化？
• RQ2 当仅可观测到部分车辆时，RL智能体能否学习到有效的信号控制策略？
• RQ3 在部分检测条件下，系统在不同交通流量水平和道路网络配置下的表现如何？
• RQ4 RL控制器在何种最低检测率下仍能实现平均车辆等待时间的显著减少？

主要发现

• 基于RL的控制器即使在低检测率下也能显著降低交叉口的平均车辆等待时间。
• 系统在检测率低至20%时仍保持强劲性能，展现出对部分可观测性的强鲁棒性。
• 在部分检测条件下，该控制器优于传统方法，后者在全可观测假设下失效。
• 性能在多种交通条件和道路网络拓扑结构下均表现稳健。
• RL方法能有效在输入信息有限的情况下学习最优信号配时决策，且无需显式系统建模。