[論文レビュー] GPT-4 Enhanced Multimodal Grounding for Autonomous Driving: Leveraging Cross-Modal Attention with Large Language Models

Haicheng Liao, Huanming Shen+5 more|arXiv (Cornell University)|Dec 6, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、GPT-4を活用した感情モデリング、マルチヘッドクロスモーダルアテンション、および領域固有のダイナミック（RSD）レイヤーを統合することで、自動運転における視覚的接地性能を向上させる、新しいエンコーダデコーダフレームワークCAVGを提案する。本モデルは、Talk2Carデータセットにおいて、訓練データの50–75%を用いても最先端の精度を達成し、低照度、悪天候、曖昧な指示などの困難な実世界シナリオにおいても頑健な性能を示す。

ABSTRACT

In the field of autonomous vehicles (AVs), accurately discerning commander intent and executing linguistic commands within a visual context presents a significant challenge. This paper introduces a sophisticated encoder-decoder framework, developed to address visual grounding in AVs.Our Context-Aware Visual Grounding (CAVG) model is an advanced system that integrates five core encoders-Text, Image, Context, and Cross-Modal-with a Multimodal decoder. This integration enables the CAVG model to adeptly capture contextual semantics and to learn human emotional features, augmented by state-of-the-art Large Language Models (LLMs) including GPT-4. The architecture of CAVG is reinforced by the implementation of multi-head cross-modal attention mechanisms and a Region-Specific Dynamic (RSD) layer for attention modulation. This architectural design enables the model to efficiently process and interpret a range of cross-modal inputs, yielding a comprehensive understanding of the correlation between verbal commands and corresponding visual scenes. Empirical evaluations on the Talk2Car dataset, a real-world benchmark, demonstrate that CAVG establishes new standards in prediction accuracy and operational efficiency. Notably, the model exhibits exceptional performance even with limited training data, ranging from 50% to 75% of the full dataset. This feature highlights its effectiveness and potential for deployment in practical AV applications. Moreover, CAVG has shown remarkable robustness and adaptability in challenging scenarios, including long-text command interpretation, low-light conditions, ambiguous command contexts, inclement weather conditions, and densely populated urban environments. The code for the proposed model is available at our Github.

研究の動機と目的

• 自動運転車（AV）における複雑で動的な視覚的シーンにおいて、自然言語の指示を正確に接地する課題に対処すること。
• 従来のモデルが無視する感情的文脈を言語的指示に組み込むことで、人間-AV間のインタラクションを向上させること。
• 低照度、悪天候、混雑した都市環境などの実世界条件において、視覚的接地の頑健性を向上させること。
• 最小限の訓練データで高い予測精度と推論効率を達成し、データが乏しい状況での実用的導入を可能とすること。
• テキスト、ビジョン、文脈、感情、クロスモーダル特徴を統合した包括的で統一されたマルチモーダルフレームワークを構築すること。

提案手法

• テキスト（BERTベース）、感情（GPT-4を感情と意図に微調整）、ビジョン（ViTとBLIPによるシーン理解）、文脈（時空間的文脈モデリング）、クロスモーダル（マルチヘッドアテンションによるクロスモーダル統合）の5つのエンコーダを採用する。
• 領域固有のダイナミック（RSD）レイヤーを備えたマルチモーダルデコーダーを統合し、アテンションを調整して局所化の精度を向上させる。
• マルチヘッドクロスモーダルアテンションを用いて、異なるモダリティ間で言語トークンと関連する視覚的領域を動的に一致させる。
• GPT-4を活用して指示から感情的キューを抽出・分類し、意味論を超えた意図理解を豊かにする。
• 対照学習とマスクド言語モデリングの目的関数を用いて、Talk2Carデータセット上でエンドツーエンドのCAVGフレームワークを訓練する。
• モデルの深さとアテンション効率のバランスを最適化することで、リアルタイム推論を実現し、低遅延応答を確保する。

Figure 1: Illustration of Regions Identified by an AV based on a Raw Image and a Natural Language Command. The blue bounding box represents the ground truth. The red and yellow bounding boxes correspond to the prediction results from CAVG with emotion categorization and without emotion categorizatio

実験結果

リサーチクエスチョン

• RQ1 GPT-4を活用した感情モデリングを統合することで、自動運転における視覚的接地の精度と文脈的関連性が向上するか？
• RQ2 既存の最先端モデルと比較して、CAVGフレームワークは訓練データが全データの50–75%に制限された状況下でも性能を発揮するか？
• RQ3 RSDレイヤーとマルチヘッドクロスモーダルアテンションは、複雑な視覚的シーンにおける局所化精度をどの程度向上させるか？
• RQ4 実世界の運転シナリオにおいて、曖昧な指示、長文の指示、感情的色の強い指示をモデルはどのように処理するか？
• RQ5 既存のモデルと比較して、ユーザーがCAVGの応答精度、推論速度、全体的なユーザー体験に関してどのように評価するか？

主な発見

• CAVGは、Stacked VL-BERT、CMSVG、AttnGrounderなど既存のモデルを上回る、Talk2Carベンチマークにおける最先端の予測精度を達成した。
• 全訓練データの50–75%のみを用いても、高い性能を維持し、優れた一般化性能とデータ効率性を示した。
• ユーザー研究において、CAVGは応答精度、推論時間、ユーザー体験の各分野で、競合モデルと比較して平均スコアが5.2%〜10.6%高い結果となった。
• アンケート参加者の最大割合がCAVGを最も好んだことから、優れたユーザー満足度と実用的利便性を示している。
• 低照度の夜間シーン、雨天時、混雑した都市部のストリートなど、困難な条件下でも頑健な性能を示した。
• GPT-4による感情分類の統合により、緊急、命令的、感情的なトーンを含む指示の意図理解が顕著に向上した。

Figure 2: Schematic of the Model Architecture. The Text Encoder and the Emotion Encoder generate a text vector and an emotion vector, respectively, from the given command, while the Vision Encoder divides the input image into $N$ RoIs, each represented by a vision vector. These vectors are contextua