[论文解读] Efficient Connected and Automated Driving System with Multi-agent Graph Reinforcement Learning

Tianyu Shi, Jiawei Wang+3 more|arXiv (Cornell University)|Jul 6, 2020

Traffic control and management参考文献 28被引用 8

一句话总结

本文提出了一种基于连通自动驾驶车辆图（CAVG）的多智能体强化学习框架，以增强混合交通环境中连通自动驾驶车辆（CAVs）之间的协作。通过将图卷积网络与注意力机制相结合，对动态车辆交互进行建模，MARL-CAVG方法在不同渗透率和目标速度下，于跟车、交叉路口和汇入场景中均展现出更优的效率与安全性，优于当前最先进的基线方法。

ABSTRACT

Connected and automated vehicles (CAVs) have attracted more and more attention recently. The fast actuation time allows them having the potential to promote the efficiency and safety of the whole transportation system. Due to technical challenges, there will be a proportion of vehicles that can be equipped with automation while other vehicles are without automation. Instead of learning a reliable behavior for ego automated vehicle, we focus on how to improve the outcomes of the total transportation system by allowing each automated vehicle to learn cooperation with each other and regulate human-driven traffic flow. One of state of the art method is using reinforcement learning to learn intelligent decision making policy. However, direct reinforcement learning framework cannot improve the performance of the whole system. In this article, we demonstrate that considering the problem in multi-agent setting with shared policy can help achieve better system performance than non-shared policy in single-agent setting. Furthermore, we find that utilization of attention mechanism on interaction features can capture the interplay between each agent in order to boost cooperation. To the best of our knowledge, while previous automated driving studies mainly focus on enhancing individual's driving performance, this work serves as a starting point for research on system-level multi-agent cooperation performance using graph information sharing. We conduct extensive experiments in car-following and unsignalized intersection settings. The results demonstrate that CAVs controlled by our method can achieve the best performance against several state of the art baselines.

研究动机与目标

• 为解决在有人驾驶车辆共存的混合交通环境中，实现CAVs之间协作行为的挑战。
• 通过使用图结构表示建模动态车车间交互，提升整体交通效率与安全性。
• 开发一种可扩展且泛化能力强的决策框架，能够适应不同的交通密度与网络配置。
• 评估图注意力机制与动态邻接矩阵在增强多智能体协调方面的有效性。
• 在多种交通场景中展示框架的泛化能力，包括环形道路、无信号交叉路口和汇入区域。

提出的方法

• 该框架构建连通自动驾驶车辆图（CAVG），利用位置和速度信息表示车车间关系。
• 基于相对速度和位置学习动态邻接矩阵，以反映交互强度，其公式结合了目标速度与速度差。
• 采用具有多头自注意力机制的图卷积网络，聚合邻近车辆的特征，实现对相关智能体的自适应关注。
• 策略网络通过共享策略的多智能体强化学习进行训练，使智能体之间能够学习协作行为。
• 在SUMO仿真环境中评估模型，并采用近端策略优化（PPO）进行训练，以确保训练稳定性。
• 注意力机制根据邻近智能体的相关性动态加权，提升信息流动与协调能力。

实验结果

研究问题

• RQ1 如何有效协调CAVs，以提升混合自主性环境下的交通效率与安全性？
• RQ2 基于图的车辆交互建模在增强多智能体协作方面发挥何种作用？
• RQ3 不同信息源——位置、速度或两者兼有——对CAV协调框架性能有何影响？
• RQ4 注意力机制在多大程度上提升了模型优先关注相关邻近车辆的能力？
• RQ5 所提出的框架能否在多样化交通场景中实现泛化，包括不同渗透率与目标速度？

主要发现

• 在40%渗透率与30 km/h目标速度的环形场景中，MARL-CAVG模型获得了2710.32 ± 23.581的回报，优于基线方法。
• 在邻接矩阵中同时使用位置与速度信息时性能最佳，优于仅使用位置（2490.99 ± 20.149）或仅使用速度（2601.87 ± 19.825）的方法。
• 注意力机制显著提升了性能，回报从无注意力时的2423.19 ± 39.193提升至使用8个注意力头时的2624.20 ± 41.213。
• 性能在8个注意力头时达到峰值；使用10个或更多头时出现下降，表明表示能力存在最优平衡。
• 该模型在多种场景中表现出强大的泛化能力，包括跟车、无信号交叉路口和汇入区，且在不同智能体数量下表现稳定。
• 采用共享策略的多智能体训练显著优于单智能体训练，凸显了在CAV系统中协作学习的重要性。