[论文解读] ES-CTC: A Deep Neuroevolution Model for Cooperative Intelligent Freeway Traffic Control

Yuankai Wu, Huachun Tan+2 more|arXiv (Cornell University)|May 10, 2019

Traffic control and management参考文献 19被引用 7

一句话总结

该论文提出ES-CTC，一种基于图卷积网络与知识共享层的深度神经进化模型，通过协调匝道放行控制、可变速度限制和换道控制，有效建模高速公路网络中的空间交通依赖关系。借助进化策略，该方法能有效处理延迟奖励与异步控制周期问题，在随机交通需求下实现6725.1的平均出流量，优于深度强化学习基线模型。

ABSTRACT

Cooperative intelligent freeway traffic control is an important application in intelligent transportation systems, which is expected to improve the mobility of freeway networks. In this paper, we propose a deep neuroevolution model, called ES-CTC, to achieve a cooperative control scheme of ramp metering, differential variable speed limits and lane change control agents for improving freeway traffic. In this model, the graph convolutional networks are used to learn more meaningful spatial pattern from traffic sensors, a knowledge sharing layer is designed for communication between different agents. The proposed neural networks structure allows different agents share knowledge with each other and execute action asynchronously. In order to address the delayed reward and action asynchronism issues, the evolutionary strategy is utilized to train the agents under stochastic traffic demands. The experimental results on a simulated freeway section indicate that ES-CTC is a viable approach and outperforms several existing methods

研究动机与目标

• 解决在异步控制周期与延迟奖励条件下，协调多个交通控制智能体（匝道放行控制、可变速度限制与换道控制）的挑战。
• 克服传统交通控制模型依赖精确交通流模型与短期预测的局限性。
• 构建一个可扩展、鲁棒的协同高速公路交通控制框架，能够在随机交通需求下保持良好泛化能力。
• 通过在分布式智能体间实现知识共享与空间建模，提升高速公路通行能力与交通效率。
• 证明在具有复杂时空动态特性的协同交通控制场景中，神经进化方法优于深度强化学习。

提出的方法

• 采用图卷积网络（GCNs）建模交通传感器之间的空间相关性，捕捉高速公路网络中复杂的时空依赖关系。
• 引入知识共享层，实现独立智能体间的通信与协调，支持异步动作执行。
• 采用进化策略（ES）作为训练范式，仅需最终回合回报作为反馈，天然解决延迟奖励与信用分配问题。
• 在训练过程中将交通需求建模为随机分布，以增强模型在多样化交通条件下的鲁棒性与泛化能力。
• 设计多智能体框架，使匝道放行控制、可变速度限制与换道控制智能体独立运行，但通过共享知识与联合优化实现协调。
• 使用ES并行轨迹进行神经网络策略训练，相比标准DRL方法具备更高的并行化程度与更快的收敛速度。

实验结果

研究问题

• RQ1 基于神经进化的框架能否有效协调具有不同控制周期的多个交通控制智能体，实现协同高速公路交通控制？
• RQ2 与传统CNN或全连接网络相比，图卷积网络的引入在交通传感器数据的空间建模方面有何改进？
• RQ3 进化策略在多智能体交通控制中，对缓解固有的延迟奖励与信用分配问题能起到多大程度的缓解作用？
• RQ4 所提出的知识共享机制如何提升具有异步动作周期的智能体之间的协调能力？
• RQ5 在随机交通需求下，ES-CTC模型是否比DRL基线模型具有更好的泛化能力，特别是在出流量与交通需求满足度方面？

主要发现

• 在100种随机交通需求场景下，ES-CTC实现了每回合6725.1辆的平均出流量，显著优于DRL基线模型（如DQN-RM：6567.2，TRPO-RM：6563.9，DDPG-DVSL：6642.3）。
• 模型实现了0.7949的交通需求满足度（TDS）与0.0656的改善水平（IL），表明其在应对可变交通条件方面表现更优。
• ES-CTC框架展现出更高的并行化能力与更快的训练速度，使其在实时部署中更具可扩展性。
• DVSL智能体学会在最左侧车道设置最大限速，有效将其指定为超车道，从而减少右侧行车道的冲突。
• 该模型成功协调了匝道放行控制、可变速度限制与换道控制，有效缓解瓶颈并提升整体高速公路通行能力。
• 知识共享的GCN架构实现了智能体间的有效通信，使其即使在异步控制周期下也能协同行动。