[論文レビュー] Evaluation of Large Language Models for Decision Making in Autonomous Driving

Kôtarô Tanahashi, Yuichi Inoue+12 more|arXiv (Cornell University)|Dec 11, 2023

Topic Modeling被引用数 6

ひとこと要約

本論文は、自律走行における大規模言語モデル（LLM）の有効性を評価し、空間認識意思決定と交通ルール準拠の両面に焦点を当てる。模擬的な高速道路シナリオと実車搭載実験を通じて、GPT-4がLLaMA-2 や GPT-3.5 といった小規模モデルに比べ、特に矛盾する指示や交通ルールが重複する複雑な状況下でも、正確性と推論能力において顕著に優れていることが判明した。

ABSTRACT

Various methods have been proposed for utilizing Large Language Models (LLMs) in autonomous driving. One strategy of using LLMs for autonomous driving involves inputting surrounding objects as text prompts to the LLMs, along with their coordinate and velocity information, and then outputting the subsequent movements of the vehicle. When using LLMs for such purposes, capabilities such as spatial recognition and planning are essential. In particular, two foundational capabilities are required: (1) spatial-aware decision making, which is the ability to recognize space from coordinate information and make decisions to avoid collisions, and (2) the ability to adhere to traffic rules. However, quantitative research has not been conducted on how accurately different types of LLMs can handle these problems. In this study, we quantitatively evaluated these two abilities of LLMs in the context of autonomous driving. Furthermore, to conduct a Proof of Concept (POC) for the feasibility of implementing these abilities in actual vehicles, we developed a system that uses LLMs to drive a vehicle.

研究の動機と目的

• 異なるLLMが自律走行における空間認識意思決定と交通ルール準拠の両面でどの程度効果的に機能するかを定量的に評価すること。
• 推論を促すプロンプトが、特に高能力モデルにおいて意思決定の正確性を向上させるかどうかを調査すること。
• 自然言語による指示と環境入力を用いて、LLMが実際の車両を制御する可能性を実証すること。
• 自律走行システムにおけるモデル能力、推論速度、リアルタイム適用可能性のトレードオフを評価すること。
• 交通官の指示や矛盾する命令に対応するような、自律走行シナリオにおける倫理的意思決定へのLLMの可能性を調査すること。

提案手法

• エゴ車両、周囲の車両、交通ルールを再現する二車線の高速道路を模擬したシミュレーション環境を構築した。
• 空間認識意思決定（SADM）用に34件、交通ルール準拠（FTR）用に24件、統合タスク（SADM&FTR）用に50件のデータセットを生成した。
• LLMに構造化された入力を提供：エゴ車両の状態、周囲の物体（分類、x/y座標、速度）、自然言語による交通ルール、ユーザーの指示。
• LLMに5つの行動（加速、一定速度維持、減速、左車線変更、右車線変更）のうち1つを選択させ、その理由をJSON形式で出力するよう指示した。
• オブジェクト検出データと人間の指示を用いて、API経由でGPT-4を実車に搭載し、動的ルールインジェクション（例：交通官の信号で停止）を実装した。
• 行動選択の正確性と推論の質を指標として、シミュレーションおよび実世界環境の両方でLLaMA-2、GPT-3.5、GPT-4の性能を比較評価した。

実験結果

リサーチクエスチョン

• RQ1 周囲の車両の座標と速度データのみに基づいて、異なるLLMはどの程度正確に空間認識意思決定を実行できるか？
• RQ2 自然言語でプロンプトされた際、LLMはスピード制限や車線変更規則といった交通ルールをどの程度正しく準拠できるか？
• RQ3 推論の説明を要求することで、LLMの自律走行シナリオにおける意思決定の正確性は向上するか？
• RQ4 GPT-4のようなLLMは、人間の指示と交通官の信号の両方が存在する場合、安全ルールをユーザーの命令よりも優先して処理できるか？
• RQ5 遅延と計算制約を考慮した場合、LLMを自律走行車両のエンドツーエンド意思決定に実用化することは可能か？

主な発見

• GPT-4は全タスクで最高の正確性を達成した：シミュレーションではSADMで96%、FTRで92%、SADM&FTRで94%を記録し、GPT-3.5 や LLaMA-2 に顕著に劣っている。
• プロンプトに推論を含めることで、GPT-3.5 と GPT-4 の意思決定正確性が向上したが、LLaMA-2 では向上しなかった。これは、推論プロンプトが高能力モデルにのみ効果的であることを示唆している。
• GPT-4は、矛盾するユーザー指示にだまされても、70 km/h の速度制限ルールを正しく識別し、適切に適用した。これは、ルール優先の強固な能力を示している。
• 実車搭載実験では、GPT-4は20件のテストセットで95%の高い正確性を維持し、目的のコーンに到達し、交通官の信号に従って停止することができた。
• LLaMA-2 はローカルにデプロイ可能であるが、ほとんどのタスクで50%未満の正確性を示し、モデルサイズと性能のトレードオフを浮き彫りにした。
• 本研究は、GPT-4 などの高能力LLMが信頼できる自律走行意思決定に不可欠であることを確認したが、クラウドAPI経由でのリアルタイムデプロイは遅延のため課題を残している。