[论文解读] Dynamic Graph Configuration with Reinforcement Learning for Connected Autonomous Vehicle Trajectories

Udesh Gunarathna, Hairuo Xie+3 more|arXiv (Cornell University)|Oct 14, 2019

Traffic control and management参考文献 29被引用 4

一句话总结

本文提出CLLA，一种分层多智能体强化学习框架，可实时动态重构交通车道方向，以优化联网自动驾驶汽车（CAV）的交通流。通过采用两层架构协调局部车道分配决策，CLLA在拥堵网络中将平均行程时间减少高达14%，在可扩展性和响应速度方面优于静态配置及先前方法。

ABSTRACT

Traditional traffic optimization solutions assume that the graph structure of road networks is static, missing opportunities for further traffic flow optimization. We are interested in optimizing traffic flows as a new type of graph-based problem, where the graph structure of a road network can adapt to traffic conditions in real time. In particular, we focus on the dynamic configuration of traffic-lane directions, which can help balance the usage of traffic lanes in opposite directions. The rise of connected autonomous vehicles offers an opportunity to apply this type of dynamic traffic optimization at a large scale. The existing techniques for optimizing lane-directions are however not suitable for dynamic traffic environments due to their high computational complexity and the static nature. In this paper, we propose an efficient traffic optimization solution, called Coordinated Learning-based Lane Allocation (CLLA), which is suitable for dynamic configuration of lane-directions. CLLA consists of a two-layer multi-agent architecture, where the bottom-layer agents use a machine learning technique to find a suitable configuration of lane-directions around individual road intersections. The lane-direction changes proposed by the learning agents are then coordinated at a higher level to reduce the negative impact of the changes on other parts of the road network. Our experimental results show that CLLA can reduce the average travel time significantly in congested road networks. We believe our method is general enough to be applied to other types of networks as well.

研究动机与目标

• 解决传统交通优化中静态路网图的局限性，其无法适应实时交通波动。
• 实现大规模、实时的动态车道方向重配置，以平衡相反方向的交通流量。
• 开发一种适用于联网自动驾驶汽车（CAV）环境的可扩展、高效解决方案，克服先前优化技术的高计算成本。
• 协调各交叉口之间的局部车道分配决策，以最小化对全网的负面影响。
• 评估动态车道方向变更在不同交通条件下减少行程时间的有效性。

提出的方法

• CLLA采用两层多智能体架构：底层智能体使用强化学习确定单个交叉口的最优局部车道方向变更。
• 顶层协调器聚合来自本地智能体的决策，以防止网络中出现冲突或次优变更。
• 每个智能体构建一个预测依赖图（PDG）以建模车道方向变更对车辆路径和行程时间的影响。
• 系统使用带有优先经验回放的深度Q网络（DQN）训练智能体，以最小化总行程时间。
• 关键参数包括变更成本、激进程度、PDG遍历深度以及路径影响估计的查找距离。
• 该框架使用真实出租车行程数据，在模拟的城市环境中进行动态车辆生成的评估。

实验结果

研究问题

• RQ1 动态车道方向重配置是否能显著减少拥堵城市路网中的平均行程时间？
• RQ2 局部车道分配决策的协调如何影响整体网络性能与拥堵缓解效果？
• RQ3 有效且稳定性能的最优参数设置（如更新频率、激进程度、深度）是什么？
• RQ4 CLLA在可扩展性和效率方面与静态车道配置及现有动态优化方法相比表现如何？
• RQ5 当与联网自动驾驶汽车（CAV）系统集成时，动态车道变更在多大程度上改善了交通流？

主要发现

• 当交通需求增加时，CLLA相比静态车道配置将平均行程时间减少14%，展现出显著的效率提升。
• CLLA的最佳更新周期为10分钟，兼顾响应速度与计算成本，即使在15分钟时性能仍保持稳定。
• 预测依赖图（PDG）的遍历深度为2时性能最佳；更深的遍历不再带来额外收益，因影响随距离衰减。
• 查找距离为2或以上可降低平均行程时间，但超过此点收益递减，因影响随距离减弱。
• 过高的激进程度或过高的变更成本会增加行程时间，原因在于频繁干扰或过度重配置开销。
• CLLA在不同交通条件下均保持稳定性能，在效率和鲁棒性方面均优于基线动态方法DLA。