[論文レビュー] GPT-4V as Traffic Assistant: An In-depth Look at Vision Language Model on Complex Traffic Events

Xingcheng Zhou, Alois Knoll|arXiv (Cornell University)|Feb 3, 2024

Bayesian Modeling and Causal Inference被引用数 7

ひとこと要約

この論文は、多様な動画からのキーフレームを用いてGPT-4Vを複雑な交通事象で定性的に評価し、いくつかのケースでゼロショット認識と推論が強力である一方、空間推論や多対象シナリオに顕著な制限があると指摘している。

ABSTRACT

The recognition and understanding of traffic incidents, particularly traffic accidents, is a topic of paramount importance in the realm of intelligent transportation systems and intelligent vehicles. This area has continually captured the extensive focus of both the academic and industrial sectors. Identifying and comprehending complex traffic events is highly challenging, primarily due to the intricate nature of traffic environments, diverse observational perspectives, and the multifaceted causes of accidents. These factors have persistently impeded the development of effective solutions. The advent of large vision-language models (VLMs) such as GPT-4V, has introduced innovative approaches to addressing this issue. In this paper, we explore the ability of GPT-4V with a set of representative traffic incident videos and delve into the model's capacity of understanding these complex traffic situations. We observe that GPT-4V demonstrates remarkable cognitive, reasoning, and decision-making ability in certain classic traffic events. Concurrently, we also identify certain limitations of GPT-4V, which constrain its understanding in more intricate scenarios. These limitations merit further exploration and resolution.

研究の動機と目的

• 知的交通システムにおける交通事象理解の向上の必要性を喚起する。
• 古典的な交通事故に対するGPT-4Vのゼロショット認識と高レベルの推論を評価する。
• 現実世界の交通事象の理解と報告におけるGPT-4Vの強みと限界を特定する。
• 交通文脈でのモデル性能を高めるためのプロンプティングおよびマルチモーダル推論の可能性を探る。

提案手法

• 多様なシナリオをカバーする交通事故動画から代表的なキーフレームを選択する。
• 微調整なしで事故やイベントタイプを認識するGPT-4Vの能力を評価する（ゼロショット）。
• GPT-4Vに事故報告、因果説明、緊急対応の推奨を生成させるプロンプトを作成する。
• 空間推論、物体の詳細認識、画像間関連付けにわたるモデルの性能を分析する。
• 視覚的手がかりのハイライトなどのプロンプティングが結果を改善する事例と、改善に失敗する事例を強調する。
• 正解はProvidentia++および公開データセットから派生したものであり、評価は認識、因果関係、緊急対応推論に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 複雑なシナリオにおいてキーフレームから交通事象の存在をGPT-4Vは認識できるか？
• RQ2 GPT-4Vは交通事故のイベントタイプをどの程度正確に識別し、原因と責任について推論できるか？
• RQ3 交通事象における空間推論、物体の詳細認識、画像間関連付けの能力と限界は何か？
• RQ4 プロンプティングと視覚的手がかりは、統合的な交通事故レポートと推奨の生成にどの程度の改善をもたらすか？

主な発見

交通事象	事故 / イベント認識	イベントタイプの識別	重大性分析	緊急意思決定	関与する人数	原因帰属	責任推論
Dooring II-A	✓	✓	✓	✓	✓	✓	✓
Run the Red Light at Night II-B	✓	✓	✓	✓	✓	✓	✓
Motorcycle Car Collision II-C	✓	✓	✓	✓	✓	-	-
Rollover II-D	✓	✓	✓	✓	✓	✗	-
Fires and Explosion II-E	✓	✓	✓	✓	✗	✗	-
Vehicle Collision III-A	✗	-	-	-	-	-	-
Vehicle Collision (Highlighted) III-A	✓	✓	✓	✓	✗	✗	✗
Jaywalking III-B	✗	✓	-	-	✗	-	-
Vehicle Smoke III-C	✗	✗	-	-	-	-	-
Vehicle Smoke (Highlighted) III-C	✗	✗	-	-	-	-	-
Multiple Vehicle Collision III-D	✓	✗	-	-	-	-	-

• GPT-4Vは特定の交通事象のゼロショット認識が強力で、首尾一貫した事故報告を生成できる。
• 事故タイプが正しく識別されると、GPT-4Vはしばしば妥当な緊急対策と重大度の評価を提供する。
• GPT-4Vは空間推論、詳細認識（色、ヘルメット着用、トレーラーの取り付け等）、混雑した交通における複数物体追跡に顕著な制限を示す。
• 画像間関連付け、および音響情報や3D空間情報が欠如している場合にも性能のギャップが見られる。
• ハイライトされた視覚手がかりを用いたプロンプティングは、あるケース（例：Vehicle Collisionがハイライトされている）で認識を改善することがあるが、普遍的ではない。
• 全体として、GPT-4Vの高レベルなマルチモーダル推論の能力は有望だが、信頼性の高い細粒度分析には追加のモダリティや指導が必要である。