[論文レビュー] DriveLM: Driving with Graph Visual Question Answering

Chonghao Sima, Katrin Renz+8 more|arXiv (Cornell University)|Dec 21, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、エンドツーエンド自動運転を、相互に接続された認識、予測、計画に関する質疑応答ペアの系列としてモデル化する、新しいグラフ視覚質疑応答（GVQA）フレームワークであるDriveLMを紹介する。新たに構築されたデータセット（DriveLM-Data）と統一されたVLMベースのエージェント（DriveLM-Agent）を活用することで、未観測のセンサ構成に対しても強力なゼロショット一般化を達成し、専用の自動運転アーキテクチャを上回る推論性能とインタラクティブ性を実現する。

ABSTRACT

We study how vision-language models (VLMs) trained on web-scale data can be integrated into end-to-end driving systems to boost generalization and enable interactivity with human users. While recent approaches adapt VLMs to driving via single-round visual question answering (VQA), human drivers reason about decisions in multiple steps. Starting from the localization of key objects, humans estimate object interactions before taking actions. The key insight is that with our proposed task, Graph VQA, where we model graph-structured reasoning through perception, prediction and planning question-answer pairs, we obtain a suitable proxy task to mimic the human reasoning process. We instantiate datasets (DriveLM-Data) built upon nuScenes and CARLA, and propose a VLM-based baseline approach (DriveLM-Agent) for jointly performing Graph VQA and end-to-end driving. The experiments demonstrate that Graph VQA provides a simple, principled framework for reasoning about a driving scene, and DriveLM-Data provides a challenging benchmark for this task. Our DriveLM-Agent baseline performs end-to-end autonomous driving competitively in comparison to state-of-the-art driving-specific architectures. Notably, its benefits are pronounced when it is evaluated zero-shot on unseen objects or sensor configurations. We hope this work can be the starting point to shed new light on how to apply VLMs for autonomous driving. To facilitate future research, all code, data, and models are available to the public.

研究の動機と目的

• 現在のエンドツーエンド自動運転システムにおける一般化能力の欠如と人間が理解可能な推論の不足に取り組む。
• 単一ラウンドVQAやオブジェクトレベルVQAの制限を克服し、人間の運転意思決定に類似した論理的依存関係を持つ複数ステップの推論をモデル化する。
• 推論駆動型自動運転研究を支援するためのベンチマークデータセット（DriveLM-Data）と評価指標（DriveLM-Metrics）を構築する。
• VLMベースの推論により、未観測のセンサ構成やシナリオに対してもゼロショット一般化を実現する。
• 自然言語を入力および出力として用いることで、自動運転車両における人間-AIインタラクションを向上させる。

提案手法

• 認識、予測、計画のQAペアを相互に接続した有向グラフとして構造化する、グラフ視覚質疑応答（GVQA）を提案する。
• マルチモodal入力（画像、言語、シーンコンテキスト）を用いて、GVQAとエンドツーエンド運転ポリシー予測を統合的に実行する、統一されたVLMベースのエージェント（DriveLM-Agent）を設計する。
• nuScenesとCARLAに基づき構築された大規模データセットであるDriveLM-Dataを構築し、認識、予測、計画の各段階にわたり豊富な複数ターンQAアノテーションを提供する。
• QAペア間の論理的依存関係を統合し、オブジェクト間の相互作用とタスクの進行をモデル化することで、段階的推論を可能にする。
• ウェブ規模のVLM事前学習を用い、DriveLM-Data上でQAと軌道予測を統合したマルチタスク目的関数による微調整により、DriveLM-Agentを訓練する。
• DriveLM-Metricsを用いて、未観測のセンサ設定（例：Waymo、pedestrianあり/なしのnuScenes）におけるゼロショット一般化を評価し、変位誤差とQA正答率を測定する。

実験結果

リサーチクエスチョン

• RQ1 複数ターンVQAを用いたグラフ構造の推論は、エンドツーエンド自動運転におけるゼロショット一般化を改善できるか？
• RQ2 認識、予測、計画を相互に接続されたQAペアとして統合することで、独立したVQAや軌道のみのモデルと比較して、推論と意思決定性能が向上するか？
• RQ3 構造化されたQAベンチマークで微調整された視覚言語モデルは、未観測のセンサ構成やシナリオにどの程度一般化できるか？
• RQ4 認識 → 予測 → 計画の各段階にわたる豊富で多層的なQAアノテーションの導入は、自動運転における性能向上にどの程度寄与するか？
• RQ5 VLMは、人間フレンドリーな出力を備え、原理的で解釈可能かつ一般化可能なエンドツーエンドドライブシステムのバックボーンとして機能できるか？

主な発見

• DriveLM-Agentは、特に未観測のセンサ構成へのゼロショット一般化において、最先端の専用ドライブアーキテクチャと比較して競争力のあるエンドツーエンド運転性能を達成する。
• 未観測のセンサ設定（例：Waymo、pedestrianあり/なしのnuScenes）において、変位誤差とQA正答率の両面で顕著な性能向上を示す、強力なゼロショット一般化性能を示す。
• 質問単位のアブレーションスタディにより、グラフ構造に予測および計画QAペアを組み込むことで性能向上が得られ、単に認識レベルのQAに依存するのとは異なることが確認された。
• DriveLM-Dataは、認識、予測、計画の各段階にわたり豊富な多層的アノテーションを備えた、推論駆動型自動運転のための挑戦的なベンチマークを提供する。
• 入力および出力に自然言語を用いることで、人間が理解可能な意思決定が可能となり、自動運転システムの透明性と信頼性が向上する。
• DriveLM-Metricsは、軌道予測とQA正答率の両方を効果的に評価でき、推論および一般化能力の包括的ベンチマークを可能にする。