[论文解读] The Real Deal: A Review of Challenges and Opportunities in Moving Reinforcement Learning-Based Traffic Signal Control Systems Towards Reality

Rex Chen, Fei Fang+1 more|arXiv (Cornell University)|Jun 23, 2022

Traffic control and management被引用 5

一句话总结

本文回顾了阻碍基于强化学习（RL）的交通信号控制（TSC）在现实世界中部署的关键挑战，识别出四个主要障碍：车辆检测的不确定性、通信可靠性、合规性/可解释性，以及道路使用者的异质性。文章主张采用系统性思维方法，将RL与现实世界基础设施约束相结合，以实现安全、可审计且公平的部署。

ABSTRACT

Traffic signal control (TSC) is a high-stakes domain that is growing in importance as traffic volume grows globally. An increasing number of works are applying reinforcement learning (RL) to TSC; RL can draw on an abundance of traffic data to improve signalling efficiency. However, RL-based signal controllers have never been deployed. In this work, we provide the first review of challenges that must be addressed before RL can be deployed for TSC. We focus on four challenges involving (1) uncertainty in detection, (2) reliability of communications, (3) compliance and interpretability, and (4) heterogeneous road users. We show that the literature on RL-based TSC has made some progress towards addressing each challenge. However, more work should take a systems thinking approach that considers the impacts of other pipeline components on RL.

研究动机与目标

• 识别并分析阻碍基于强化学习的交通信号控制（TSC）系统在现实世界中部署的主要工程与系统性障碍。
• 通过突出算法中心研究中被忽视的实际挑战，弥合强化学习研究与交通系统部署之间的差距。
• 倡导一种系统性思维方法，将强化学习与现实世界约束（如检测器可靠性、通信鲁棒性、法规合规性以及多样化道路使用者需求）相结合。
• 引导未来强化学习研究朝向可复现、可审计且互操作的解决方案发展，以契合交通机构的需求。

提出的方法

• 在谷歌学术上使用关键词“traffic signal”、“reinforcement learning”和“review/survey”进行定向文献检索，随后通过被引文献进行滚雪球式采样。
• 聚焦于2015年以后发表的强化学习论文，以捕捉最新进展，同时结合非强化学习TSC部署案例以获取实际背景。
• 系统分析四大挑战：(1) 检测不确定性，(2) 通信可靠性，(3) 合规性与可解释性，(4) 异质性道路使用者。
• 回顾现有基于强化学习的TSC文献，评估各项挑战的进展，兼顾算法创新与实际考量。
• 提出基于强化学习的TSC设计原则，包括鲁棒的状态空间设计、交叉口间通信的消息表示方法、通过奖励/动作设计实现约束强制，以及公平的动作空间构型。
• 倡导强化学习研究人员与交通领域专家合作，以确保生态有效性与利益相关者的信任。

实验结果

研究问题

• RQ1 尽管模拟结果表现强劲，为何基于强化学习的交通信号控制系统仍面临系统性障碍而无法部署？
• RQ2 车辆检测与通信可靠性的不确定性在多大程度上影响了现实场景中基于强化学习的TSC的鲁棒性与安全性？
• RQ3 当前基于强化学习的TSC方法在多大程度上解决了与交通信号标准（如最小绿灯时间）的合规性问题，以及可解释性对可审计决策的支持？
• RQ4 包括行人、公交车和应急车辆在内的异质性道路使用者如何影响基于强化学习的信号控制器的设计与性能？
• RQ5 系统性思维在协调强化学习研究与现实世界交通基础设施及机构需求方面发挥着何种作用？

主要发现

• 基于强化学习的TSC文献在应对检测不确定性方面进展有限，通常假设状态观测无噪声，尽管现实中传感器存在局限。
• 通信可靠性仍是主要缺口，大多数基于强化学习的TSC系统未考虑交叉口间协调中的延迟、丢包或故障模式。
• 强化学习框架尚未系统性解决与交通信号标准（如最小绿灯时间）的合规性问题，存在导致不安全或非合规信号操作的风险。
• 深度强化学习策略的可解释性基本未被关注，导致交通机构难以审计、验证或调整基于强化学习的控制决策。
• 模拟常假设车辆同质，但当策略应用于包含多样化道路使用者行为的混合交通时，实际性能会受损。
• 亟需将现实世界约束（如检测器可用性、信号配时规则、延迟分配的公平性）整合进强化学习的训练与评估流程。