[论文解读] AgentsCoMerge: Large Language Model Empowered Collaborative Decision Making for Ramp Merging

Senkang Hu, Zhengru Fang+5 more|arXiv (Cornell University)|Aug 7, 2024

Collaboration in agile enterprises被引用 4

一句话总结

该论文提出AgentsCoMerge，一种基于大语言模型（LLM）的协同决策框架，用于车联网（CAVs）中的多车道匝道汇入。该框架整合了场景理解、分层规划、多智能体通信以及强化反思引导训练，相较于基线方法，碰撞率降低97.67%，L2轨迹误差降低90.99%。

ABSTRACT

Ramp merging is one of the bottlenecks in traffic systems, which commonly cause traffic congestion, accidents, and severe carbon emissions. In order to address this essential issue and enhance the safety and efficiency of connected and autonomous vehicles (CAVs) at multi-lane merging zones, we propose a novel collaborative decision-making framework, named AgentsCoMerge, to leverage large language models (LLMs). Specifically, we first design a scene observation and understanding module to allow an agent to capture the traffic environment. Then we propose a hierarchical planning module to enable the agent to make decisions and plan trajectories based on the observation and the agent's own state. In addition, in order to facilitate collaboration among multiple agents, we introduce a communication module to enable the surrounding agents to exchange necessary information and coordinate their actions. Finally, we develop a reinforcement reflection guided training paradigm to further enhance the decision-making capability of the framework. Extensive experiments are conducted to evaluate the performance of our proposed method, demonstrating its superior efficiency and effectiveness for multi-agent collaborative decision-making under various ramp merging scenarios.

研究动机与目标

• 解决多车道匝道汇入区域交通拥堵、安全风险与效率低下的关键挑战。
• 克服现有基于规则、概率及深度学习方法的局限，包括可解释性差、过度依赖人工离散化以及对多样化驾驶意图适应性有限的问题。
• 开发一种兼具高可解释性、最小化人工离散化以及对复杂动态交通场景强适应性的决策框架。
• 通过实时信息共享与协同轨迹规划，实现多辆CAV的安全高效协同汇入。

提出的方法

• 设计一个场景观测与理解模块，处理视觉与文本输入，全面建模交通环境。
• 实现一个分层规划模块，基于观测状态与个体条件生成驾驶决策并规划未来航点。
• 引入多智能体通信模块，使CAV能够交换状态信息（如位置、速度、意图），协调汇入顺序并避免冲突。
• 开发一种强化反思引导训练范式，通过迭代式自我评估与反馈回路，提升智能体行为的决策能力。
• 利用大语言模型（LLMs）的推理与常识能力，支持透明、类人决策解释与动态适应。
• 采用模仿学习与强化学习相结合的端到端训练方法，辅以反思反馈，提升轨迹精度与安全性。

Figure 1: The multi-lane merging scenarios

实验结果

研究问题

• RQ1 与传统基于规则或强化学习的方法相比，基于LLM的智能体在多车道匝道汇入中是否能实现更优的安全性与效率？
• RQ2 在密集交通场景下，多智能体通信如何影响协同汇入决策的性能与安全性？
• RQ3 强化反思引导训练在复杂汇入环境中在多大程度上提升了轨迹预测与决策的鲁棒性与准确性？
• RQ4 基于LLM的框架能否在保持高性能与可解释性的同时，减少对人工离散化的依赖？
• RQ5 LLM如何在动态不确定的交通条件下实现实时决策中的可解释、类人推理？

主要发现

• 与基线相比，强化反思引导训练使平均L2轨迹误差降低了90.99%，显著提升了轨迹预测精度。
• 强化反思引导训练使碰撞率平均降低97.67%，表明安全性性能获得重大提升。
• 多智能体通信显著改善关键指标：CS提升5.75%，ES提升23.82%，SS提升10.51%，DS提升11.08%，证明其在协调与安全中的关键作用。
• 案例研究证实，采用该框架的智能体能够推理复杂场景，如为接近车辆让行，并在充分协调后安全汇入。
• 自车在CAV6之后、CAV7之前成功完成汇入，周围车辆主动减速让出空间，展现出流畅协作的交通流。
• 该框架基于LLM的推理实现了透明可解释的决策过程，使智能体能够基于情境感知与逻辑推理解释其行为。

Figure 2: The kinematic bicycle model of a CAV