[論文レビュー] V2X-VLM: End-to-End V2X Cooperative Autonomous Driving Through Large Vision-Language Models

Junwei You, Haotian Shi+7 more|arXiv (Cornell University)|Aug 17, 2024

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、車両カメラ、インフラセンサー、およびテキスト的文脈からのマルチモーダルデータを統合する大規模なビジョン・ランゲージモデル（VLM）を活用して、状況認識および軌道計画の向上を図るエンドツーエンドの車両・インfraストラクチャー協調自動運転フレームワーク、V2X-VLMを提案する。DAIR-V2Xデータセットにおいて1.40mの平均L2誤差を達成し、先行手法を著しく上回る最先端の性能を発揮する。

ABSTRACT

Vehicle-to-everything (V2X) cooperation has emerged as a promising paradigm to overcome the perception limitations of classical autonomous driving by leveraging information from both ego-vehicle and infrastructure sensors. However, effectively fusing heterogeneous visual and semantic information while ensuring robust trajectory planning remains a significant challenge. This paper introduces V2X-VLM, a novel end-to-end (E2E) cooperative autonomous driving framework based on vision-language models (VLMs). V2X-VLM integrates multiperspective camera views from vehicles and infrastructure with text-based scene descriptions to enable a more comprehensive understanding of driving environments. Specifically, we propose a contrastive learning-based mechanism to reinforce the alignment of heterogeneous visual and textual characteristics, which enhances the semantic understanding of complex driving scenarios, and employ a knowledge distillation strategy to stabilize training. Experiments on a large real-world dataset demonstrate that V2X-VLM achieves state-of-the-art trajectory planning accuracy, significantly reducing L2 error and collision rate compared to existing cooperative autonomous driving baselines. Ablation studies validate the contributions of each component. Moreover, the evaluation of robustness and efficiency highlights the practicality of V2X-VLM for real-world deployment to enhance overall autonomous driving safety and decision-making.

研究の動機と目的

• 複雑で動的な走行環境において、現在のエンドツーエンド自動運転システムが抱える限界を解消するため、車両およびインフラストラクチャーからのマルチモーダルデータを統合すること。
• 視覚的およびテキスト的入力を処理する大規模ビジョン・ランゲージモデル（VLM）を活用して、協調自動運転における状況認識および意思決定を向上させること。
• 包括的なマルチモーダルデータ統合を活用して、実世界のシナリオにおける軌道計画の精度および耐性を向上させること。
• 共通の意味的推論および文脈理解を通じて、レアで複雑な都市部シナリオに一般化できるようにすることで、自動運転における長尾失敗率を低減すること。

提案手法

• フレームワークは、車両搭載カメラからの画像、インフラセンサーのデータ、環境のテキスト記述を含むマルチモーダル入力を処理・統合する大規模ビジョン・ランゲージモデル（VLM）をコアバックボーンとして採用する。
• 車両およびインフラストラクチャーのカメラからの視覚的特徴と、交通標識や道路状況などのテキスト的文脈を統合し、走行シーンの統一的かつ文脈に配慮した表現を生成する。
• VLMは、DAIR-V2Xデータセット上でエンドツーエンドにファインチューニングされ、1つの統合パイプライン内で、認識、推論、および軌道計画を同時に最適化する。
• システムは、統合されたマルチモーダル埋め込みから直接ウェイポイントシーケンスを生成するトランスフォーマー型デコーダーを用い、軌道計画を言語生成タスクとして扱う。
• 帯域幅を削減しながらも重要な情報を保持するため、高解像度画像の送信ではなく、キーフィーチャーの抽出と送信を最適化する。
• 効率的なVLMアーキテクチャとハードウェアに配慮した設計原則を活用することで、性能と通信コストのバランスを保ちながら、リアルタイム推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 大規模ビジョン・ランゲージモデルは、視覚的、テキスト的、インフラストラクチャーのデータというマルチモーダル入力を効果的に統合し、協調自動運転における状況認識を向上させることができるか？
• RQ2 エンドツーエンドのV2X-VLMは、多様な走行シナリオにおいて、既存の最先端手法と比較して、軌道計画の精度および耐性に優れているか？
• RQ3 視覚的データにテキスト的文脈を統合することで、複雑な都市部環境における意思決定の質がどの程度向上し、誤差が低減されるか？
• RQ4 V2X通信において、高精細な視覚的データと圧縮された特徴表現の間で、送信コストと計画精度のトレードオフはどのようなものか？

主な発見

• V2X-VLMは、DAIR-V2Xデータセットにおいて1.40mの平均L2誤差を達成し、次に優れた手法（UniV2X）の3.43mを著しく上回る。
• 全評価時間間隔（2.5s、3.5s、4.5s）において、最も近いベースライン（UniV2X）と比較してL2誤差を50%以上低減した。
• 送信コストが$1.24 \times 10^7$ BPSと高いものの、包括的なマルチモーダル統合により優れた精度を達成するという、良好なトレードオフを維持している。
• 交差点、歩行者横断帯、悪天候状況を含む多様で複雑な走行シナリオにおいても、モデルは頑健な性能を示した。
• VLMによるテキスト的文脈の統合は、視覚的キューだけでは不十分な長尾シナリオにおいて、推論力および一般化能力を向上させる。
• 特に、特徴抽出によるデータ送信の最適化をさらに進めることで、スケーラビリティおよび実世界への展開の可能性が極めて高いことが示された。