[論文レビュー] On the Road with GPT-4V(ision): Early Explorations of Visual-Language Model on Autonomous Driving

Licheng Wen, Xuemeng Yang+16 more|arXiv (Cornell University)|Nov 9, 2023

Multimodal Machine Learning Applications被引用数 21

ひとこと要約

本論文はGPT-4V(ision)を自動運転に対して徹底的に評価し、シナリオ理解、因果推論、運転操作を網羅し、多様なセンシングモダリティと運転状況における長所と限界を論じる。

ABSTRACT

The pursuit of autonomous driving technology hinges on the sophisticated integration of perception, decision-making, and control systems. Traditional approaches, both data-driven and rule-based, have been hindered by their inability to grasp the nuance of complex driving environments and the intentions of other road users. This has been a significant bottleneck, particularly in the development of common sense reasoning and nuanced scene understanding necessary for safe and reliable autonomous driving. The advent of Visual Language Models (VLM) represents a novel frontier in realizing fully autonomous vehicle driving. This report provides an exhaustive evaluation of the latest state-of-the-art VLM, GPT-4V(ision), and its application in autonomous driving scenarios. We explore the model's abilities to understand and reason about driving scenes, make decisions, and ultimately act in the capacity of a driver. Our comprehensive tests span from basic scene recognition to complex causal reasoning and real-time decision-making under varying conditions. Our findings reveal that GPT-4V demonstrates superior performance in scene understanding and causal reasoning compared to existing autonomous systems. It showcases the potential to handle out-of-distribution scenarios, recognize intentions, and make informed decisions in real driving contexts. However, challenges remain, particularly in direction discernment, traffic light recognition, vision grounding, and spatial reasoning tasks. These limitations underscore the need for further research and development. Project is now available on GitHub for interested parties to access and utilize: \url{https://github.com/PJLab-ADG/GPT4V-AD-Exploration}

研究の動機と目的

• GPT-4V が環境、交通参加者、条件全体にわたる運転シナリオを理解する能力を評価する。
• コーナーケース、マルチビュー入力、時系列、および視覚マップナビゲーションの因果推論と対応を評価する。
• シミュレーションと実世界の文脈で運転決定を下すことによって、GPT-4Vがドライバーとして機能する能力を試す。
• VLMベースの自動運転における今後の研究を指針するために、長所と制約を特定する。

提案手法

• nuScenes、Waymo Open、BDD-X、ADD、CitySim、DAIR-V2X、CARLAなどの多様な公開データセットおよびV2Xデータを用いたキュレーション済みテスト。
• 正面視、魚眼、LiDAR投影視覚情報、V2X、およびシミュレーション画像を用いたGPT-4Vのフレームごとの prompting。
• 環境と交通参加者の理解、コーナーケース推論、マルチビューおよび時系列入力分析、地図補強ナビゲーションを含むタスク。
• 正/誤回答を示す画像-テキストの組み合わせや参照図を用いた定性的分析を含む評価。
• 2023年9月25日時点のバージョン固有の挙動を認識し、新しいGPT-4V版での潜在的な変化に注意する。

実験結果

リサーチクエスチョン

• RQ1 複数のセンサーモダリティにまたがって、GPT-4Vは運転環境と交通参加者をどれだけ理解できるか？
• RQ2 GPT-4Vは因果推論と常識推論を行い、コーナーケースや動的な運転シナリオに対処できるか？
• RQ3 駐車場、交差点、ランプ、合流で運転判断を下すことによって、GPT-4Vがどの程度ドライバーとして機能できるか？
• RQ4 知覚のグラウンド、信号認識、空間推論、時間的理解におけるGPT-4Vの制約は何か？

主な発見

• GPT-4Vは、オープンな運転シナリオにおいて強力なシーン理解と従来のシステムよりいくつかの因果推論の利点を示す。
• 正面視、魚眼、LiDAR投影、V2X、シミュレーションなど多様な入力を処理し、多くの文脈で物体、標識、関係を識別できる。
• GPT-4Vはコーナーケースについて推論し、時系列、マルチビューの関係、および視覚マップナビゲーションを説明する能力を示す。
• ただし、遠距離または小さな信号、特定の標識、時系列における正確な空間推論を安定して識別するのに苦戦する。
• 画像解像度、天候、照明、入力が訓練データと似ているかどうかによって性能が影響を受け、一部の状況では幻覚の可能性がある。
• 本研究は定性的な洞察を提供し、堅牢な自動運転の展開を達成するためにはさらなる研究と grounding（根拠づけ）の必要性を強調している。