[論文レビュー] LMDrive: Closed-Loop End-to-End Driving with Large Language Models

Hao Shao, Yuxuan Hu+4 more|arXiv (Cornell University)|Dec 12, 2023

Topic Modeling被引用数 4

ひとこと要約

LMDriveは、自然言語指令とマルチモーダルセンサデータ（カメラとLiDAR）を、凍結された大規模言語モデル（LLM）を介して統合する、最初のエンドツーエンドでクローズドループな自動運転フレームワークです。これにより、リアルタイムで言語に従った制御が可能となり、LangAutoベンチマークで最先端の性能を達成し、人間と同様の推論と命令従いを示す、複雑で長時間にわたるドライブシナリオにおいても高い耐性を示します。

ABSTRACT

Despite significant recent progress in the field of autonomous driving, modern methods still struggle and can incur serious accidents when encountering long-tail unforeseen events and challenging urban scenarios. On the one hand, large language models (LLM) have shown impressive reasoning capabilities that approach "Artificial General Intelligence". On the other hand, previous autonomous driving methods tend to rely on limited-format inputs (e.g. sensor data and navigation waypoints), restricting the vehicle's ability to understand language information and interact with humans. To this end, this paper introduces LMDrive, a novel language-guided, end-to-end, closed-loop autonomous driving framework. LMDrive uniquely processes and integrates multi-modal sensor data with natural language instructions, enabling interaction with humans and navigation software in realistic instructional settings. To facilitate further research in language-based closed-loop autonomous driving, we also publicly release the corresponding dataset which includes approximately 64K instruction-following data clips, and the LangAuto benchmark that tests the system's ability to handle complex instructions and challenging driving scenarios. Extensive closed-loop experiments are conducted to demonstrate LMDrive's effectiveness. To the best of our knowledge, we're the very first work to leverage LLMs for closed-loop end-to-end autonomous driving. Codes, models, and datasets can be found at https://github.com/opendilab/LMDrive

研究の動機と目的

• 長期間にわたる予期しない出来事や複雑な都市部シナリオに対応できない現在の自動運転システムの限界を克服し、言語に従う推論を可能にすること。
• モジュラーおよびエンドツーエンドのドライブシステムが直接受け入れる入力形式が固定されているという制限を乗り越え、自然言語指令を最初の入力として統合すること。
• 自動運転車両と人間の乗客、またはナビゲーションソフトウェアとの間で、自然言語によるリアルタイムでクローズドループの相互作用を可能にすること。
• 現実的で複雑なドライブシナリオにおいて、言語ベースでクローズドループな自動運転システムを評価するためのベンチマークとデータセットを確立すること。

提案手法

• 一般化能力と推論能力を維持するため、凍結された事前学習済みの大規模言語モデル（LLM）を推論のコアとして活用する。
• 2次元用にResNet-50、3次元用にPointPillarsを用いた専用のビジョンエンコーダーを介して、マルチモーダルセンサ入力（カメラとLiDAR）を統合し、BEV（上空視点）特徴抽出を実施する。
• 視覚特徴をLLMのコンテキスト窓に適合する学習可能なトークン系列に圧縮・変換するため、Q-Formerモジュールを採用する。
• 視覚エンコーダーの出力をLLMに接続するための学習可能な入力および出力アダプタを用い、LLMの重みを更新せずにエンドツーエンドのファインチューニングを可能にする。
• ドライブデータに対してマスクされた自己符号化目的を用いたタスク固有の事前学習戦略を視覚エンコーダーに適用し、視覚的表現学習を向上させる。
• CARLAシミュレータで新たに収集した約64Kの命令従いクリップデータセットを用い、データオーグメンテーションを適用することで、注意を向けた命令に過剰適合するのを防ぎながら、閉ループ設定で全システムを訓練する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルを、自然言語指令に従うクローズドループでエンドツーエンドの自動運転に効果的に活用できるか？
• RQ2 自然言語指令とマルチモーダルセンサデータを統合することで、長期間にわたる予期しない出来事や複雑な都市部ドライブシナリオにおける推論力と耐性がどのように向上するか？
• RQ3 視覚アダプタを備えた凍結されたLLMが、多様なナビゲーションタスクや攻撃的（悪意ある）命令シナリオにどの程度一般化できるか？
• RQ4 視覚事前学習およびアーキテクチャ的要素（例：Q-Former、BEVトークンの使用）が、言語に従うドライブエージェントのパフォーマンスに与える影響は何か？
• RQ5 一連のまたは矛盾するナビゲーション命令を処理する際、時間的整合性と命令の曖昧さをどのように処理するか？

主な発見

• LLaVA-v1.5は、LLaMA、LLaMA2、Vicunaなど他のLLMバックボーンを上回り、LangAutoベンチマークで最高のドライブスコア36.2を達成し、マルチモーダル事前学習の利点を示している。
• Q-Formerモジュールを削除すると、ドライブスコアは36.2から31.7に低下し、LLMへの入力としての特徴圧縮がQ-Formerによって重要であることが示された。
• LLMデコーダーからBEVトークンを除外すると、インfractureスコアは0.81から0.72に低下し、安全な意思決定に視覚的文脈が不可欠であることが確認された。
• 視覚エンコーダーの事前学習を除外すると、ドライブスコアは16.9に低下し、ドライブデータにおける事前学習が視覚的表現品質を著しく向上させることを証明した。
• LangAuto-Noticeベンチマークでは、攻撃的または予期しない命令に対処する際、LMDriveは衝突数と交通違反数を削減し、耐性の向上を示した。
• LangAuto-Sequentialベンチマークでは、複雑な複数ステップの命令に対しても、ルート完了率やドライブスコアにやや低下は見られたものの、依然として高いパフォーマンスを維持しており、時間的認識力と命令追跡能力があることが示された。