[논문 리뷰] AgentsCoMerge: Large Language Model Empowered Collaborative Decision Making for Ramp Merging

Senkang Hu, Zhengru Fang외 5명|arXiv (Cornell University)|2024. 08. 07.

Collaboration in agile enterprises인용 수 4

한 줄 요약

이 논문은 연결된 자율주행차(CAVs)에서 다중 차선 램프 합류를 위한 대규모 언어모델(LLM) 기반 협업 의사결정 프레임워크인 AgentsCoMerge를 제안한다. 시나리오 이해, 계층적 계획 수립, 이종 간 소통, 강화 반사 지도 학습을 통합하여 기준 방법 대비 충돌률 97.67% 감소 및 L2 궤적 오차 90.99% 감소를 달성한다.

ABSTRACT

Ramp merging is one of the bottlenecks in traffic systems, which commonly cause traffic congestion, accidents, and severe carbon emissions. In order to address this essential issue and enhance the safety and efficiency of connected and autonomous vehicles (CAVs) at multi-lane merging zones, we propose a novel collaborative decision-making framework, named AgentsCoMerge, to leverage large language models (LLMs). Specifically, we first design a scene observation and understanding module to allow an agent to capture the traffic environment. Then we propose a hierarchical planning module to enable the agent to make decisions and plan trajectories based on the observation and the agent's own state. In addition, in order to facilitate collaboration among multiple agents, we introduce a communication module to enable the surrounding agents to exchange necessary information and coordinate their actions. Finally, we develop a reinforcement reflection guided training paradigm to further enhance the decision-making capability of the framework. Extensive experiments are conducted to evaluate the performance of our proposed method, demonstrating its superior efficiency and effectiveness for multi-agent collaborative decision-making under various ramp merging scenarios.

연구 동기 및 목표

• 다중 차선 램프 합류 지역에서의 교통 혼잡, 안전 위험, 비효율성의 심각한 과제를 해결한다.
• 기존의 규칙 기반, 확률 기반, 딥 러닝 방법의 한계—해석 불가능성, 수동 이산화에 대한 과도한 의존성, 다양한 운전자 의도에 대한 적응성 부족—을 극복한다.
• 높은 해석 가능성, 최소한의 수동 이산화, 복잡하고 동적인 교통 상황에 대한 강력한 적응성을 결합한 의사결정 프레임워크를 개발한다.
• 실시간 정보 공유와 조율된 궤적 계획을 통해 다수의 CAV 간 안전하고 효율적인 협업 합류를 가능하게 한다.

제안 방법

• 시각적 및 텍스트 입력을 모두 처리하여 교통 환경를 종합적으로 모델링하는 시나리오 관측 및 이해 모듈을 설계한다.
• 관측된 상태와 에이전트별 조건을 바탕으로 주행 결정 및 향후 웨이포인트 계획을 생성하는 계층적 계획 모듈을 구현한다.
• CAV들이 상태 정보(예: 위치, 속도, 의도)를 교환하여 합류 순서를 조율하고 갈등을 방지할 수 있도록 이종 간 소통 모듈을 도입한다.
• 자기 평가와 피드백 루프를 통한 반복적 개선을 통해 에이전트 행동을 향상시키는 강화 반사 지도 학습 프레임워크를 개발한다.
• 대규모 언어모델(LLM)의 추론 및 일반 지식 능력을 활용하여 투명하고 인간과 유사한 의사결정 정당화 및 동적 적응을 지원한다.
• 모의 학습과 강화 학습을 조합하여 반사 피드백를 활용해 프레임워크를 종단 간(end-to-end)으로 훈련시켜 궤적 정확성과 안전성을 향상시킨다.

Figure 1: The multi-lane merging scenarios

실험 결과

연구 질문

• RQ1 LLM 기반 에이전트는 기존의 규칙 기반 또는 강화 학습 기반 방법에 비해 다중 차선 램프 합류에서 더 뛰어난 안전성과 효율성을 달성할 수 있는가?
• RQ2 밀도 높은 교통 상황에서 이종 간 소통은 협업 합류 의사결정의 성능과 안전성에 어떤 영향을 미치는가?
• RQ3 강화 반사 지도 학습은 복잡한 합류 환경에서 궤적 예측 및 의사결정의 강건성과 정확성을 어느 정도 향상시키는가?
• RQ4 LLM 기반 프레임워크는 높은 성능과 해석 가능성 유지와 함께 수동 이산화에 대한 의존도를 줄일 수 있는가?
• RQ5 LLM은 동적이고 불확실한 교통 조건에서 실시간 의사결정에 인간과 유사한 해석 가능한 추론을 어떻게 가능하게 하는가?

주요 결과

• 강화 반사 지도 학습 덕분에 평균 L2 궤적 오차가 기준 대비 90.99% 감소하여 궤적 예측 정확도 향상이 뚜렷하게 입증되었다.
• 강화 반사 지도 학습을 통해 평균 충돌률이 97.67% 감소하여 안전성 성능 향상이 크게 향상됨을 시사한다.
• 이종 간 소통은 핵심 지표 향상에 기여: CS는 5.75% 향상, ES는 23.82% 향상, SS는 10.51% 향상, DS는 11.08% 향상되었으며, 이는 조율 및 안전성 확보에 핵심적 역할을 함을 입증한다.
• 사례 연구를 통해 프레임워크를 사용하는 에이전트가 복잡한 상황(예: 접근 중인 차량 양보, 적절한 조율 후 안전 합류)을 추론할 수 있음을 확인했다.
• 자신차량은 CAV6 이후, CAV7 이전에 안정적으로 합류하였으며, 주변 차량들이 공간 확보를 위해 감속함으로써 원활하고 협업적인 교통 흐름이 유지됨을 보여주었다.
• LLM 기반 추론 덕분에 투명하고 해석 가능한 의사결정이 가능해졌으며, 에이전트들은 맥락 인식과 논리적 추론을 바탕으로 행동을 정당화할 수 있었다.

Figure 2: The kinematic bicycle model of a CAV