[論文レビュー] Personalized Autonomous Driving with Large Language Models: Field Experiments

Can Cui, Zichong Yang+7 more|arXiv (Cornell University)|Dec 14, 2023

Topic Modeling被引用数 9

ひとこと要約

本研究はTalk2DriveというLLMベースのフレームワークを提示し、話された指示を実行可能な運転コードへ翻訳して自動運転を個別化する。現場の野外試験で実証され、テイクオーバー率の大幅な低減とメモリーモジュールを介した効果的な個別化を示す。

ABSTRACT

Integrating large language models (LLMs) in autonomous vehicles enables conversation with AI systems to drive the vehicle. However, it also emphasizes the requirement for such systems to comprehend commands accurately and achieve higher-level personalization to adapt to the preferences of drivers or passengers over a more extended period. In this paper, we introduce an LLM-based framework, Talk2Drive, capable of translating natural verbal commands into executable controls and learning to satisfy personal preferences for safety, efficiency, and comfort with a proposed memory module. This is the first-of-its-kind multi-scenario field experiment that deploys LLMs on a real-world autonomous vehicle. Experiments showcase that the proposed system can comprehend human intentions at different intuition levels, ranging from direct commands like "can you drive faster" to indirect commands like "I am really in a hurry now". Additionally, we use the takeover rate to quantify the trust of human drivers in the LLM-based autonomous driving system, where Talk2Drive significantly reduces the takeover rate in highway, intersection, and parking scenarios. We also validate that the proposed memory module considers personalized preferences and further reduces the takeover rate by up to 65.2% compared with those without a memory module. The experiment video can be watched at https://www.youtube.com/watch?v=4BWsfPaq1Ro

研究の動機と目的

• 人間の自然言語命令を解釈できるエンドツーエンドのLLMベース自動運転システムを実証する。
• 過去の人間-車両の相互作用を活用して個別化を実現する。
• 実世界の運転シナリオで安全性、快適性、時間効率、個別化指標を評価する。
• メモリーモジュールが時間とともに運転挙動を個人の嗜好へ適応させる様子を示す。

提案手法

• 音声認識モジュール（Whisper）を用いて口述指示をテキスト指示へ翻訳する。
• クラウドベースのLLMとインコンテキスト学習およびチェーンオブソート promptingを用いて命令と文脈データ（天候、交通、規則）を推論する。
• Code as Policyのパラダイムに従い、LLMの推論から実行可能な計画/制御コード（ROS互換）を生成する。
• フォーマットとパラメータ安全性の検証を実行してから車両ECUへコードを伝送する。
• 個別化のためI（指示）、P（コード）、F（フィードバック）を保持するメモリーモジュールをECUに組み込む。
• Autowareベースの計画と純粋追従（pure-pursuit）制御を用いて drive-by-wire のレクサー RX450h プラットフォーム上で軌道追従を実行する。

実験結果

リサーチクエスチョン

• RQ1 現実世界の自動運転でLLMは自然言語の運転指示をどれだけ効果的に解釈し実行できるか。
• RQ2 メモリーベースの個別化機構は多様な運転者タイプにわたるテイクオーバー率を低減できるか。
• RQ3 LLM駆動の命令から行動へのパイプラインを現場試験で使用する際の安全性、快適性、時間効率のトレードオフは何か。
• RQ4 さまざまなLLM（GPT-3、GPT-3.5 Turbo、GPT-4、PaLM 2）を比較したとき、待機時間と運転性能にはどのような差があるか。
• RQ5 自動運転車との自然言語対話において、指示の直接性が高い場合と低い場合で、信頼性の高い実行とユーザー満足度はどのレベルに達するか。

主な発見

• Talk2Driveは試験条件下でLLM生成コードを実行する際に高い100%の成功率を達成した。
• 現場実験では運転者タイプを超えてテイクオーバー率を最大90.1%低減させ、安全性と快適性を許容範囲内に維持した。
• メモリーモジュールを介した個別化は時間をかけて個々の運転嗜好への適応を強化する。
• 異なるLLMは待機時間と応答のトレードオフを示し、一部モデルは応答が速い一方で運転指標への影響が異なる。
• フレームワークは直接的から間接的までの幅広い指示の直接性をサポートし、それを実行可能な運転アクションへ翻訳する。