[論文レビュー] DiLu: A Knowledge-Driven Approach to Autonomous Driving with Large Language Models

Licheng Wen, Daocheng Fu+8 more|arXiv (Cornell University)|Sep 28, 2023

Natural Language Processing Techniques被引用数 37

ひとこと要約

DiLu は、対話型環境、メモリモジュール、推論と反省を備えたドライバーエージェントを用い、大規模言語モデルと保存された経験を活用することで一般化を改善する知識駆動の自動運転フレームワークを導入します。

ABSTRACT

Recent advancements in autonomous driving have relied on data-driven approaches, which are widely adopted but face challenges including dataset bias, overfitting, and uninterpretability. Drawing inspiration from the knowledge-driven nature of human driving, we explore the question of how to instill similar capabilities into autonomous driving systems and summarize a paradigm that integrates an interactive environment, a driver agent, as well as a memory component to address this question. Leveraging large language models (LLMs) with emergent abilities, we propose the DiLu framework, which combines a Reasoning and a Reflection module to enable the system to perform decision-making based on common-sense knowledge and evolve continuously. Extensive experiments prove DiLu's capability to accumulate experience and demonstrate a significant advantage in generalization ability over reinforcement learning-based methods. Moreover, DiLu is able to directly acquire experiences from real-world datasets which highlights its potential to be deployed on practical autonomous driving systems. To the best of our knowledge, we are the first to leverage knowledge-driven capability in decision-making for autonomous vehicles. Through the proposed DiLu framework, LLM is strengthened to apply knowledge and to reason causally in the autonomous driving domain. Project page: https://pjlab-adg.github.io/DiLu/

研究の動機と目的

• purely data‑driven autonomous driving to a knowledge-driven paradigm inspired by human driving.
• Propose a framework (DiLu) that integrates an interactive environment, a memory module, and a driver agent with reasoning and reflection.
• Enable LLM-driven decision-making that queries memory, reasons with common-sense knowledge, and reflects to update experiences.

提案手法

• 四つのモジュール DiLu フレームワークを実装する: Environment, Reasoning, Reflection, and Memory.
• Memory Module を用いてシーンの記述と推論過程を経験として保存する。
• Reasoning Module を用いてシナリオをエンコードし、類似経験を呼び出し、プロンプトを生成し、Chain-of-Thought prompting を用いた LLM から行動をデコードする。
• Reflection Module を組み込み、危険な意思決定を特定して LLM で修正し、Memory Module を更新する。
• DiLu が経験を蓄積し、RL ベースの手法より一般化が優れていることを実証する。実データからの転移を含む。

実験結果

リサーチクエスチョン

• RQ1 知識駆動のフレームワーク（メモリと LLM の推論を含む）は、データ駆動の RL 手法より自動運転の意思決定を改善できるか。
• RQ2 メモリを増強した LLM は、異なる運転環境や実世界データセットを超えて一般化できるか。
• RQ3 反省プロセスは、失敗からの学習と運転メモリの更新にどのように影響するか。
• RQ4 Few-shot 経験は Reasoning モジュールの性能にどのような影響を及ぼすか。

主な発見

• DiLu は経験がはるかに少なくても RL 手法と同等の性能を達成し得る（例: 40 個の記憶 vs. 数十万の RL エピソード）一方で一般化がより強い。
• メモリサイズと few-shot プロンプトは運転の成功に大きく影響し、40 の記憶と 5-shot プロンプトがテスト済みシナリオで高い成功をもたらす。
• DiLu は実世界データセット（CitySim）からシミュレート運転へ知識を転送でき、より混雑した環境での頑健性を示す。
• Reflection モジュールは安全性を向上させ、unsafe な意思決定を修正し、修正済みの経験で Memory Module を豊かにする。
• DiLu は cross-environment テストで GRAD よりも一般化が良好で、トレーニングシナリオへの過剰適合が少ないことを示す。