[论文解读] Multi-Agent Reinforcement Learning for Connected and Automated Vehicles Control: Recent Advancements and Future Prospects

Min Hua, Dong Chen+5 more|arXiv (Cornell University)|Dec 18, 2023

Traffic control and management被引用 7

一句话总结

本文对车联网与自动驾驶汽车（CAV）中的多智能体强化学习（MARL）进行了全面综述，分析其在车队编队、变道及交叉路口控制中的应用。评估了MARL架构、仿真平台以及仿真到现实世界迁移等挑战，突出MARL在混合交通环境中提升安全性、效率与协同性的潜力。

ABSTRACT

Connected and automated vehicles (CAVs) are considered a potential solution for future transportation challenges, aiming to develop systems that are efficient, safe, and environmentally friendly. However, CAV control presents significant challenges due to the complexity of interconnectivity and coordination required among vehicles. Multi-agent reinforcement learning (MARL), which has shown notable advancements in addressing complex problems in autonomous driving, robotics, and human-vehicle interaction, emerges as a promising tool to enhance CAV capabilities. Despite its potential, there is a notable absence of current reviews on mainstream MARL algorithms for CAVs. To fill this gap, this paper offers a comprehensive review of MARL's application in CAV control. The paper begins with an introduction to MARL, explaining its unique advantages in handling complex and multi-agent scenarios. It then presents a detailed survey of MARL applications across various control dimensions for CAVs, including critical scenarios such as platooning control, lane-changing, and unsignalized intersections. Additionally, the paper reviews prominent simulation platforms essential for developing and testing MARL algorithms. Lastly, it examines the current challenges in deploying MARL for CAV control, including macro-micro optimization, communication, mixed traffic, and sim-to-real challenges. Potential solutions discussed include hierarchical MARL, decentralized MARL, adaptive interactions, and offline MARL.

研究动机与目标

• 为解决当前关于车联网（CAV）控制中多智能体强化学习（MARL）的综合性综述不足的问题。
• 分析MARL在复杂多智能体交通场景（如车队编队、变道及无信号交叉路口）中的有效性。
• 评估用于训练和测试基于MARL的CAV控制策略的现有仿真平台。
• 识别在现实CAV应用中部署MARL的关键挑战，包括仿真到现实的泛化问题及混合交通环境下的安全性。
• 概述未来研究方向，以提升MARL的泛化能力、安全性，并实现与各类道路使用者（如电动滑板车和重型车辆HDVs）的互操作性。

提出的方法

• 调研最先进的MARL算法及其架构变体，包括集中训练、分散执行（CTDE）和独立学习者。
• 根据控制维度对MARL应用进行分类：一维（车队编队）、二维（变道、汇合）和三维（交叉路口协调）。
• 评估SUMO、CARLA和AirSim等主流仿真平台在真实交通环境中训练和基准测试MARL智能体的能力。
• 分析基于优先级的安全监督机制，通过预测CAV和HDV的轨迹来替代不安全动作。
• 研究仿真到现实的迁移技术，包括离线MARL和利用现有数据集进行在线自适应，以提升策略泛化能力。
• 将人类行为建模整合到MARL框架中，以增强在包含不可预测道路使用者的混合交通场景下的鲁棒性。

实验结果

研究问题

• RQ1 MARL算法如何提升车队编队和变道操作中的协调性与安全性？
• RQ2 哪些关键的架构与训练范式使得MARL在多车CAV控制中表现高效？
• RQ3 现有仿真平台在支持基于MARL的CAV控制器开发与评估方面表现如何？
• RQ4 将仿真中训练的MARL策略迁移到真实世界CAV部署面临的主要挑战是什么？
• RQ5 如何增强MARL模型以在包含HDV、电动滑板车和行人等多样化混合交通条件下的泛化能力？

主要发现

• MARL在协作式CAV控制任务中表现优异，包括车队编队与交叉路口管理，报告称可减少交通振荡并提升燃油经济性。
• 集成安全监督机制与轨迹预测的MARL框架在高速变道场景中实现了零碰撞。
• CARLA与SUMO等仿真平台可实现MARL智能体的可扩展训练，但仿真与真实世界动力学之间的差异阻碍了策略迁移。
• 当前MARL方法在多样化交通条件下的泛化能力仍有限，尤其在与不可预测的人工驾驶车辆及新兴道路使用者（如电动滑板车）交互时。
• 离线MARL与在线自适应技术在提升策略泛化能力、减少对危险环境中实时在线训练依赖方面展现出潜力。
• 将人类行为建模整合到MARL中可增强智能体在混合交通场景下的适应性，但实时准确性仍是挑战。