[论文解读] Altruistic Maneuver Planning for Cooperative Autonomous Vehicles Using Multi-agent Advantage Actor-Critic

Behrad Toghi, Rodolfo Valiente+3 more|arXiv (Cornell University)|Jul 12, 2021

Traffic control and management被引用 14

一句话总结

本文提出一种基于多智能体优势演员-critic（A2C）框架的去中心化多智能体强化学习方法，以在自动驾驶汽车（AV）中诱导利他行为，使其通过隐式学习人类驾驶员行为，实现协调并提升交通安全性与通行效率。关键结果表明，利他性AV通过主动创造变道空间，显著减少了碰撞次数，并将变道车辆行驶距离从约220米提升至约450米（翻倍），从而实现更安全的变道操作。

ABSTRACT

With the adoption of autonomous vehicles on our roads, we will witness a mixed-autonomy environment where autonomous and human-driven vehicles must learn to co-exist by sharing the same road infrastructure. To attain socially-desirable behaviors, autonomous vehicles must be instructed to consider the utility of other vehicles around them in their decision-making process. Particularly, we study the maneuver planning problem for autonomous vehicles and investigate how a decentralized reward structure can induce altruism in their behavior and incentivize them to account for the interest of other autonomous and human-driven vehicles. This is a challenging problem due to the ambiguity of a human driver's willingness to cooperate with an autonomous vehicle. Thus, in contrast with the existing works which rely on behavior models of human drivers, we take an end-to-end approach and let the autonomous agents to implicitly learn the decision-making process of human drivers only from experience. We introduce a multi-agent variant of the synchronous Advantage Actor-Critic (A2C) algorithm and train agents that coordinate with each other and can affect the behavior of human drivers to improve traffic flow and safety.

研究动机与目标

• 通过优化个体与社会效用，使自动驾驶汽车在混合自主交通环境中表现出利他行为。
• 解决人类驾驶员合作不确定性问题，且不依赖显式的行为模型。
• 开发一种去中心化的强化学习框架，使AV能够协调并影响人类驾驶员行为。
• 通过高速公路变道场景中的协作操作规划，提升交通安全性与效率。
• 通过端到端训练使AV从经验中隐式学习人类驾驶动力学，而非依赖预设模型。

提出的方法

• 采用同步优势演员-critic（A2C）算法的多智能体变体，对AV进行去中心化训练。
• 每个AV接收一个去中心化的奖励信号，该信号结合了个体效用与社会效用项，以鼓励利他行为。
• 状态表示使用堆叠的速度图（VelocityMaps）来编码交通流与车辆位置的时间依赖性。
• 该算法使AV能够从原始观测中学习，无需显式的人类驾驶员模型，通过经验隐式捕捉人类行为。
• 训练在包含AV与人类驾驶车辆（HVs）混合群体的多车道高速公路仿真环境中进行。
• 奖励塑造策略鼓励AV延迟自身进度，以创造安全的变道机会供HVs使用。

实验结果

研究问题

• RQ1 去中心化的多智能体强化学习框架是否能在不使用显式人类驾驶员模型的情况下，诱导AV表现出利他行为？
• RQ2 在混合自主高速公路环境中，利他行为规划如何影响交通安全性与通行效率？
• RQ3 AV在多大程度上能够协同影响人类驾驶员行为并改善变道结果？
• RQ4 AV是否能够通过端到端训练实现个体效用与社会效用的平衡？
• RQ5 交通动力学中的时间依赖性如何影响利他行为规划的性能？

主要发现

• 与利己型AV相比，利他型AV在高速公路变道场景中显著减少了碰撞次数。
• 变道人类驾驶车辆的平均行驶距离从约220米（利己型）增加至约450米（利他型），表明变道更安全、更高效。
• 利他型AV成功协调以创造安全的变道空间，使变道车辆能够无阻碍地完成操作。
• 引导AV（与变道车辆直接交互）表现出自适应行为，包括变道与策略性减速，以确保安全变道。
• 训练过程在多轮中均实现稳定收敛，表明所提学习框架具有鲁棒性。
• 堆叠的速度图（VelocityMaps）表示有效捕捉了时间动态，支持长时程操作规划。