[論文レビュー] AgentsCoMerge: Large Language Model Empowered Collaborative Decision Making for Ramp Merging

Senkang Hu, Zhengru Fang+5 more|arXiv (Cornell University)|Aug 7, 2024

Collaboration in agile enterprises被引用数 4

ひとこと要約

本稿では、連結自動運転車（CAVs）におけるマルチレーンの合流領域における共同意思決定を支援する、大規模言語モデル（LLM）を活用したフレームワーク「AgentsCoMerge」を提案する。シーン理解、階層的計画、エージェント間通信、強化学習による自己反映訓練を統合し、ベースライン手法と比較して衝突率が97.67%低減され、L2軌道誤差が90.99%低減された。

ABSTRACT

Ramp merging is one of the bottlenecks in traffic systems, which commonly cause traffic congestion, accidents, and severe carbon emissions. In order to address this essential issue and enhance the safety and efficiency of connected and autonomous vehicles (CAVs) at multi-lane merging zones, we propose a novel collaborative decision-making framework, named AgentsCoMerge, to leverage large language models (LLMs). Specifically, we first design a scene observation and understanding module to allow an agent to capture the traffic environment. Then we propose a hierarchical planning module to enable the agent to make decisions and plan trajectories based on the observation and the agent's own state. In addition, in order to facilitate collaboration among multiple agents, we introduce a communication module to enable the surrounding agents to exchange necessary information and coordinate their actions. Finally, we develop a reinforcement reflection guided training paradigm to further enhance the decision-making capability of the framework. Extensive experiments are conducted to evaluate the performance of our proposed method, demonstrating its superior efficiency and effectiveness for multi-agent collaborative decision-making under various ramp merging scenarios.

研究の動機と目的

• マルチレーン合流領域における交通渋滞、安全リスク、非効率性という重要な課題に取り組む。
• 従来のルールベース、確率的、ディープラーニング手法の限界（解釈性の低さ、手動による離散化への過剰依存、多様なドライバーの意図への適応性不足）を克服する。
• 高い解釈性、最小限の手動離散化、複雑で動的な交通状況への高い適応性を兼ね備えた意思決定フレームワークを構築する。
• リアルタイムでの情報共有と協調的軌道計画を通じて、複数のCAV間での安全で効率的な共同合流を実現する。

提案手法

• 視覚的およびテキスト的入力を処理するシーン観測および理解モジュールを設計し、交通環境を包括的にモデル化する。
• 観測状態およびエージェント固有の状況に基づき、運転意思決定と将来のウェイポイント計画を生成する階層的計画モジュールを実装する。
• CAV同士が状態情報（例：位置、速度、意図）を交換できるエージェント間通信モジュールを導入し、合流順序の調整と衝突回避を実現する。
• 自己評価とフィードバックループを繰り返し適用することでエージェント行動を段階的に改善する、強化学習による自己反映訓練パラダイムを構築する。
• 大規模言語モデル（LLM）の推論力と日常的常識の活用により、透明性の高い人間らしい意思決定の根拠提示と動的適応を支援する。
• 模倣学習と強化学習を組み合わせ、自己反映フィードバックを用いてエンドツーエンドで訓練することで、軌道精度と安全性を向上させる。

Figure 1: The multi-lane merging scenarios

実験結果

リサーチクエスチョン

• RQ1 LLMを活用したエージェントは、従来のルールベースや強化学習ベースの手法と比較して、マルチレーン合流において優れた安全性と効率性を達成できるか？
• RQ2 エージェント間通信は、混雑した交通状況下における共同合流意思決定の性能と安全性にどのように影響を与えるか？
• RQ3 強化学習による自己反映訓練は、複雑な合流環境における軌道予測および意思決定の耐性と正確性をどの程度向上させるか？
• RQ4 LLMベースのフレームワークは、高いパフォーマンスと解釈性を維持しつつ、手動離散化への依存度を低減できるか？
• RQ5 LLMは、動的で不確実な交通状況下でも、解釈可能で人間らしい推論をリアルタイム意思決定にどう組み込むか？

主な発見

• 強化学習による自己反映訓練により、平均L2軌道誤差がベースラインと比較して90.99%低減され、軌道予測の正確性が顕著に向上した。
• 強化学習による自己反映訓練を適用した結果、平均で衝突率が97.67%低減され、安全性の大幅な向上が示された。
• エージェント間通信により主な指標が向上：CSが5.75%増加、ESが23.82%増加、SSが10.51%増加、DSが11.08%増加し、協調性と安全性における重要性が裏付けられた。
• 事例研究により、本フレームワークを用いたエージェントが、接近する車両への譲り行為や適切な調整後の安全な合流といった複雑な状況を適切に処理できることを確認した。
• 周囲の車両が減速して余裕を確保した中、エゴ車両がCAV6の後、CAV7の前にスムーズに合流した。これは、滑らかで協調的な交通フローの実現を示している。
• フレームワークのLLMベースの推論により、文脈認識と論理的推論を用いた透明で解釈可能な意思決定が可能となり、行動の根拠を明示できるようになった。

Figure 2: The kinematic bicycle model of a CAV