[論文レビュー] SurrealDriver: Designing LLM-powered Generative Driver Agent Framework based on Human Drivers' Driving-thinking Data

Ye Jin, Yang, Ruoxuan+10 more|arXiv (Cornell University)|Sep 22, 2023

Traffic Prediction and Management Techniques被引用数 13

ひとこと要約

SurrealDriver は、メモリと安全モジュールを備えた LLM ベースの都市部ドライバエージェント フレームワークを提供し、人間ドライバーのインタビューから学習して CARLA ベースのシミュレーションにおける人間らしさと安全性を向上させる。完全なフレームワークは顕著な安全性の向上と人間らしい行動の改善を示す。

ABSTRACT

Leveraging advanced reasoning capabilities and extensive world knowledge of large language models (LLMs) to construct generative agents for solving complex real-world problems is a major trend. However, LLMs inherently lack embodiment as humans, resulting in suboptimal performance in many embodied decision-making tasks. In this paper, we introduce a framework for building human-like generative driving agents using post-driving self-report driving-thinking data from human drivers as both demonstration and feedback. To capture high-quality, natural language data from drivers, we conducted urban driving experiments, recording drivers' verbalized thoughts under various conditions to serve as chain-of-thought prompts and demonstration examples for the LLM-Agent. The framework's effectiveness was evaluated through simulations and human assessments. Results indicate that incorporating expert demonstration data significantly reduced collision rates by 81.04\% and increased human likeness by 50\% compared to a baseline LLM-based agent. Our study provides insights into using natural language-based human demonstration data for embodied tasks. The driving-thinking dataset is available at \url{https://github.com/AIR-DISCOVER/Driving-Thinking-Dataset}.

研究の動機と目的

• CARLA におけるルールベースおよびデータ駆動エージェントを超えた現実的な都市部ドライバシミュレーションの必要性を動機づける。
• 都市部の文脈に合わせた知覚・意思決定・制御モジュールを備えた LLM ベースのドライバエージェントフレームワークを提案する。
• 短期記憶を含む記憶、長期の運転ガイドライン、および安全基準を組み込み、人間の運転行動と調和させる。
• 人間ドライバーのインタビューデータを活用して、DriverAgent を人間らしい運転スタイルへと導く CoachAgent を構築する。
• アブレーションとユーザ研究を通じて、安全性、継続性、および人間らしさを実証的に検証する。

提案手法

• LLM が理解できるよう、運転シナリオを原子レベルの知覚および行動プリミティブに分解する。
• 安全基準、短期記憶、長期運転ガイドライン（CoachAgent）という三モジュールの記憶システムを使用する。
• CARLA を環境として使用する基本的な知覚-意思決定-制御パイプラインを備えた DriverAgent を実装する。
• 24 人の実ドライバーへのインタビューから CoachAgent を開発し、長期的な運転ガイドラインを提供する。
• 各メモリ/安全モジュールが安全性と継続性に及ぼす影響を評価するためのアブレーション実験を実施する。
• 24 名の参加者を対象としたユーザースタディを通じて人間らしさを評価する。

実験結果

リサーチクエスチョン

• RQ1 安全基準を追加すると、都市部の運転シミュレーションにおける衝突率にどう影響するか？
• RQ2 短期記憶が運転の継続性と複雑さに与える影響は？
• RQ3 長期的なガイドラインは時間と共に運転能力と安全性を改善するか？
• RQ4 完全な SurrealDriver フレームワークは、ベースラインと比較してどの程度人間らしい運転行動をもたらすか？

主な発見

Framework variant	Collision Rate by Distance (per meter)	Collision Rate by Time (per second)
w/o safety criteria, w/o short-term memory, w/o long-term guidelines	0.01453958	0.041315485
with safety criteria, w/o short-term memory, w/o long-term guidelines	0.00923361	0.02366976
with safety criteria, with short-term memory, w/o long-term guidelines	0.005046864	0.009530682
Full framework	0.002757353	0.005100011

• 安全基準を備えたフレームワークは、備えのないものと比較して衝突率を 57.46% 減少させた。
• 短期記憶を備えたフレームワークは、それを持たないものと比較して衝突率を 82.96% 減少させた。
• 長期ガイドラインを備えたフレームワークは、それらを持たないものと比較して衝突率を 83.03% 減少させた。
• 完全なアーキテクチャはユーザースタディで最高の人間らしさを達成し、基本フレームワークより 50% 増加した。
• アブレーション結果は、安全性、記憶、ガイダンスモジュールが協調して安全性、継続性、およびタスク完遂を高めることを示す。