[论文解读] Decentralized Cooperative Lane Changing at Freeway Weaving Areas Using Multi-Agent Deep Reinforcement Learning

Yi Hou, Peter Gräf|arXiv (Cornell University)|Oct 5, 2021

Traffic control and management参考文献 24被引用 7

一句话总结

本文提出一种基于近端策略优化（PPO）的去中心化多智能体深度强化学习（MADRL）框架，以实现在高速公路交织区域的协同变道。通过允许每个车辆在获取全局状态信息的同时进行本地学习，该方法提升了交通吞吐量、车辆速度、燃油效率，并减少了停车次数与排放，在不同拥堵水平下均优于人类驾驶交通的表现。

ABSTRACT

Frequent lane changes during congestion at freeway bottlenecks such as merge and weaving areas further reduce roadway capacity. The emergence of deep reinforcement learning (RL) and connected and automated vehicle technology provides a possible solution to improve mobility and energy efficiency at freeway bottlenecks through cooperative lane changing. Deep RL is a collection of machine-learning methods that enables an agent to improve its performance by learning from the environment. In this study, a decentralized cooperative lane-changing controller was developed using proximal policy optimization by adopting a multi-agent deep RL paradigm. In the decentralized control strategy, policy learning and action reward are evaluated locally, with each agent (vehicle) getting access to global state information. Multi-agent deep RL requires lower computational resources and is more scalable than single-agent deep RL, making it a powerful tool for time-sensitive applications such as cooperative lane changing. The results of this study show that cooperative lane changing enabled by multi-agent deep RL yields superior performance to human drivers in term of traffic throughput, vehicle speed, number of stops per vehicle, vehicle fuel efficiency, and emissions. The trained RL policy is transferable and can be generalized to uncongested, moderately congested, and extremely congested traffic conditions.

研究动机与目标

• 解决高速公路瓶颈区域频繁变道导致的交通容量与效率下降问题。
• 为联网与自动驾驶车辆开发一种可扩展、实时的协同变道控制方案。
• 在交织区域提升交通吞吐量、燃油效率，同时减少停车次数与排放。
• 确保所学习的策略在不同交通条件下（包括畅通、中等拥堵与极端拥堵）具备良好的泛化能力。
• 设计一种去中心化框架，相比单智能体强化学习，降低计算负载并提升可扩展性。

提出的方法

• 采用多智能体深度强化学习（MADRL）范式，并使用近端策略优化（PPO）进行策略训练。
• 实施去中心化控制策略，使每个车辆（智能体）基于本地观测与全局状态信息独立学习其策略。
• 根据交通吞吐量、速度、燃油效率与停车频率定义个体车辆的奖励，以激励协同行为。
• 采用集中式训练、去中心化执行（CTDE）方法，在训练阶段访问全局状态，推理阶段保持本地决策。
• 使用端到端的深度神经网络训练策略，将状态观测映射为变道动作。
• 通过在不同交通条件下（包括畅通、中等拥堵与高度拥堵场景）进行训练，确保策略的可迁移性。

实验结果

研究问题

• RQ1 去中心化MADRL框架能否有效协调高速公路交织区域的协同变道？
• RQ2 与人类驾驶交通相比，所提出的MADRL控制器在吞吐量与排放等关键性能指标上的表现如何？
• RQ3 所训练的强化学习策略在不同交通条件（畅通、中等拥堵、极端拥堵）下的泛化能力如何？
• RQ4 在训练过程中使用全局状态信息是否能提升去中心化智能体的性能？
• RQ5 在瓶颈场景下，协同变道对燃油效率与车辆停车频率有何影响？

主要发现

• 所提出的基于MADRL的控制器在交通吞吐量方面显著优于人类驾驶交通，在所有测试的拥堵水平下均表现出可测量的提升。
• 与人类驾驶条件相比，RL控制器下车辆速度有所提高，表明交通流更加平稳。
• 每辆车的停车次数显著减少，有助于提升驾乘舒适性并降低燃油消耗。
• 由于协调变道带来的平稳加速与减少的启停行为，燃油效率得到提升。
• 由于停车次数减少及驾驶模式更加一致，排放量随之降低。
• 所训练的策略无需重新训练即可有效泛化至畅通、中等拥堵与极端拥堵的交通条件。