[論文レビュー] Receive, Reason, and React: Drive as You Say with Large Language Models in Autonomous Vehicles

Can Cui, Yunsheng Ma+3 more|arXiv (Cornell University)|Oct 12, 2023

Human-Automation Interaction and Safety被引用数 8

ひとこと要約

本論文は、人間中心の枠組みを提案し、 autonomous vehiclesにおける意思決定ブレインとして大規模言語モデル（LLMs）を活用し、 perception、localization、車内ツールと連携して命令を解釈し、連鎖推論プロンプトで推論し、運転行動をパーソナライズする。

ABSTRACT

The fusion of human-centric design and artificial intelligence (AI) capabilities has opened up new possibilities for next-generation autonomous vehicles that go beyond transportation. These vehicles can dynamically interact with passengers and adapt to their preferences. This paper proposes a novel framework that leverages Large Language Models (LLMs) to enhance the decision-making process in autonomous vehicles. By utilizing LLMs' linguistic and contextual understanding abilities with specialized tools, we aim to integrate the language and reasoning capabilities of LLMs into autonomous vehicles. Our research includes experiments in HighwayEnv, a collection of environments for autonomous driving and tactical decision-making tasks, to explore LLMs' interpretation, interaction, and reasoning in various scenarios. We also examine real-time personalization, demonstrating how LLMs can influence driving behaviors based on verbal commands. Our empirical results highlight the substantial advantages of utilizing chain-of-thought prompting, leading to improved driving decisions, and showing the potential for LLMs to enhance personalized driving experiences through ongoing verbal feedback. The proposed framework aims to transform autonomous vehicle operations, offering personalized support, transparent decision-making, and continuous learning to enhance safety and effectiveness. We achieve user-centric, transparent, and adaptive autonomous driving ecosystems supported by the integration of LLMs into autonomous vehicles.

研究の動機と目的

• 自律走行車におけるLLM統合の人間中心フレームワークを示し、LLMを知覚・位置推定・車内モニタリングと連携させる。
• HighwayEnvの走行シナリオにおけるLLMの解釈・相互作用・推論を調査する。
• 連鎖思考 promptingが運転決定と安全性に及ぼす影響を評価する。
• 口頭指示による運転スタイルのリアルタイム個別化を示す。
• 適応的自律走行挙動における文脈内学習と記憶の役割を分析する。

提案手法

• 車両の意思決定ブレインとしてLLMs（GPT-4）を用い、知覚・局在・Memoryモジュールを照会する。
• 環境観察をLLMsへ提供し、推論と行動計画に役立てるためのツールとメモリを使用する。
• 高速道路の追い越し・合流シナリオにおいて連鎖思考 promptingと標準 promptingを比較する。
• HighwayEnvで口頭命令（安全運転/積極運転）による運転スタイルの個別化を実験する。
• 知覚・局在・車内モニタリングを車両の感覚入力として統合し、LLMベースの意思決定を行う。

実験結果

リサーチクエスチョン

• RQ1 知覚・局在・Memoryツールを補完した場合、LLMsは自律走行車の有効な意思決定ブレインとなり得るか。
• RQ2 連鎖思考 promptingは複雑なシナリオにおける安全性と実現性を向上させるか。
• RQ3 運転者の指示はリアルタイムで自律走行挙動にどの程度影響し、個別化できるか。
• RQ4 文脈内学習と記憶はLLMベースの自律走行決定を改善する上でどんな役割を果たすか。

主な発見

Commands	Mean Abs Acceleration	Mean Abs Steering	Max Abs Speed	Min Front Gap	Overall Time	# Chaging Lanes
Drive more Aggresively	3.10 m/s^2	0.03 rad	34.77 m/s	7.17 m	24.33 s	6
Drive more Conservatively	0.18 m/s^2	0.01 rad	20.00 m/s	39.14 m	46.20 s	1
No Extra Command	1.41 m/s^2	0.02 rad	27.43 m/s	24.01 m	34.20 s	2

• 連鎖思考 promptingは高速道路の追い越しシナリオで標準 promptingより安全でより実現可能な決定をもたらす。
• LLMsはセンサー由来の観測と法規を解釈し、車線変更・速度調整・安全に再車線移動を含む行動計画を生成できる。
• 口頭指示（安全運転/積極運転）は加速度・操舵角・速度・前方間隔・ルーティング時間に明確な変化を生み出す。
• 文脈的 prompting がないとLLMsは交通状況で無謀な決定を下す可能性があり、連鎖思考の指針の価値を浮き彫りにする。
• 文脈内学習と記憶は完全な再訓練なしに新しいシナリオへ適応を可能にし、計算コストと財務コストを削減する。