[论文解读] AttendLight: Universal Attention-Based Reinforcement Learning Model for Traffic Signal Control

Afshin Oroojlooy, Mohammadreza Nazari+2 more|arXiv (Cornell University)|Oct 12, 2020

Traffic control and management被引用 41

一句话总结

AttendLight 训练一个具有两种注意力机制的通用强化学习模型，用于控制具有不同拓扑、车道和相位的路口交通信号，在单一环境和多环境场景中均实现了出色的性能。

ABSTRACT

We propose AttendLight, an end-to-end Reinforcement Learning (RL) algorithm for the problem of traffic signal control. Previous approaches for this problem have the shortcoming that they require training for each new intersection with a different structure or traffic flow distribution. AttendLight solves this issue by training a single, universal model for intersections with any number of roads, lanes, phases (possible signals), and traffic flow. To this end, we propose a deep RL model which incorporates two attention models. The first attention model is introduced to handle different numbers of roads-lanes; and the second attention model is intended for enabling decision-making with any number of phases in an intersection. As a result, our proposed model works for any intersection configuration, as long as a similar configuration is represented in the training set. Experiments were conducted with both synthetic and real-world standard benchmark data-sets. The results we show cover intersections with three or four approaching roads; one-directional/bi-directional roads with one, two, and three lanes; different number of phases; and different traffic flows. We consider two regimes: (i) single-environment training, single-deployment, and (ii) multi-environment training, multi-deployment. AttendLight outperforms both classical and other RL-based approaches on all cases in both regimes.

研究动机与目标

• 激励并开发适用于具有任意拓扑和交通模式的通用交通信号控制策略。
• 通过使用注意力机制来处理可变输入输出，消除为每个新路口重新设计或重新训练模型的需求。
• 表明一个训练好的单一模型在合成数据集和真实世界数据集上均可超越传统基线和基于强化学习的基线。

提出的方法

• 引入 AttendLight，具备两种注意力机制：用于相位表示的状态注意力和用于下一个相位决策的动作注意力。
• 通过 Conv1D 嵌入函数对车道级交通特征进行嵌入，并将相位表示 z_p^t 计算为参与车道的加权和。
• 使用 LSTM 捕捉序列化的相位信息，并通过对相位表示的动作注意力来推导下一个相位策略。
• 在两种情形下使用方差约简的 REINFORCE 算法进行训练：single-env（在同一路口上训练并部署）和 multi-env（在多个路口上训练并广泛部署）。
• 将状态 s^t 表示为一组车道特征 s_l^t，并使用负的路口压力作为奖励，以近似旅行时间最小化。

实验结果

研究问题

• RQ1 单一的、通用的强化学习模型是否能够在具有不同路数、车道数和相位的路口之间实现高质量的交通信号控制？
• RQ2 AttendLight 是否能在多路口训练后，对未见过的路口配置进行泛化且无需重新训练？
• RQ3 与传统基线相比，AttendLight 在单环境与多环境训练方案下的表现如何？
• RQ4 所提出的注意力机制对处理 TSCP（交通信号控制问题）中可变输入/输出规模有何影响？
• RQ5 少-shot 标定是否能有效地将通用策略适应到特定路口？

主要发现

• AttendLight 在单环境和多环境场景下的多样路口上均优于经典方法和若干基于强化学习的基线。
• 在单环境情形下，AttendLight 在 112 种情形中取得显著改进（例如相对于 FixedTime 提升 46%，相对于 MaxPressure 提升 39%，相对于 SOTL 提升 34%，相对于 DQTSC-M 提升 16%，相对于 FRAP 提升 9%）。
• 在多环境情形中，AttendLight 在训练集与测试集之间的 ATT 下降约 13-15%，表明具有良好的泛化能力和路口间的知识共享。
• 在这 112 个路口中，多环境策略通常优于 FixedTime、MaxPressure 和 SOTL，与 FRAP 相当，且通常优于 DQTSC-M。
• 少量样本标定使多环境与单环境之间的差距在训练 200 次后从约 15% 减少到 5%，在 1000 次后降至 3%。