[论文解读] GPT-4 Enhanced Multimodal Grounding for Autonomous Driving: Leveraging Cross-Modal Attention with Large Language Models

Haicheng Liao, Huanming Shen+5 more|arXiv (Cornell University)|Dec 6, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出CAVG，一种新颖的编码器-解码器框架，通过整合基于GPT-4的情感建模、多头跨模态注意力机制以及区域特定动态（RSD）层，提升了自动驾驶中的视觉定位性能。该方法在Talk2Car数据集上实现了最先进（SOTA）的准确率，即使仅使用50–75%的训练数据，且在低光照、恶劣天气以及指令模糊等复杂现实场景中表现出强大的鲁棒性。

ABSTRACT

In the field of autonomous vehicles (AVs), accurately discerning commander intent and executing linguistic commands within a visual context presents a significant challenge. This paper introduces a sophisticated encoder-decoder framework, developed to address visual grounding in AVs.Our Context-Aware Visual Grounding (CAVG) model is an advanced system that integrates five core encoders-Text, Image, Context, and Cross-Modal-with a Multimodal decoder. This integration enables the CAVG model to adeptly capture contextual semantics and to learn human emotional features, augmented by state-of-the-art Large Language Models (LLMs) including GPT-4. The architecture of CAVG is reinforced by the implementation of multi-head cross-modal attention mechanisms and a Region-Specific Dynamic (RSD) layer for attention modulation. This architectural design enables the model to efficiently process and interpret a range of cross-modal inputs, yielding a comprehensive understanding of the correlation between verbal commands and corresponding visual scenes. Empirical evaluations on the Talk2Car dataset, a real-world benchmark, demonstrate that CAVG establishes new standards in prediction accuracy and operational efficiency. Notably, the model exhibits exceptional performance even with limited training data, ranging from 50% to 75% of the full dataset. This feature highlights its effectiveness and potential for deployment in practical AV applications. Moreover, CAVG has shown remarkable robustness and adaptability in challenging scenarios, including long-text command interpretation, low-light conditions, ambiguous command contexts, inclement weather conditions, and densely populated urban environments. The code for the proposed model is available at our Github.

研究动机与目标

• 解决在复杂、动态视觉场景中准确定位自然语言指令的挑战，以支持自动驾驶车辆（AVs）的视觉定位。
• 通过建模语言指令中的情感语境，改善人-自动驾驶车辆的交互体验，而传统模型往往忽略这一因素。
• 在低光照、恶劣天气和密集城市环境等真实世界条件下，提升视觉定位的鲁棒性。
• 在极小规模训练数据下实现高预测准确率与推理效率，支持在数据稀缺场景中的实际部署。
• 开发一个统一的多模态框架，整合文本、视觉、上下文、情感及跨模态特征，实现整体理解。

提出的方法

• 采用五编码器架构：文本（基于BERT）、情感（微调后的GPT-4用于情感与意图识别）、视觉（ViT与BLIP用于场景理解）、上下文（时间与空间上下文建模）以及跨模态（多头注意力机制用于跨模态融合）。
• 在多模态解码器中集成区域特定动态（RSD）层，以调节注意力机制，提升定位精度。
• 利用多头跨模态注意力机制，动态对齐语言标记与跨模态中相关的视觉区域。
• 借助GPT-4从指令中提取并分类情感线索，从而在语义理解之外增强意图理解能力。
• 在Talk2Car数据集上，采用对比学习与掩码语言建模目标，端到端训练CAVG框架。
• 通过平衡模型深度与注意力效率，优化实时推理性能，确保低延迟响应。

Figure 1: Illustration of Regions Identified by an AV based on a Raw Image and a Natural Language Command. The blue bounding box represents the ground truth. The red and yellow bounding boxes correspond to the prediction results from CAVG with emotion categorization and without emotion categorizatio

实验结果

研究问题

• RQ1 将基于GPT-4的情感建模整合到自动驾驶视觉定位中，能否提升定位准确率与语境相关性？
• RQ2 与现有最先进模型相比，CAVG框架在低数据设置（仅使用完整数据集的50–75%）下的表现如何？
• RQ3 RSD层与多头跨模态注意力机制在复杂视觉场景中，对提升定位精度的贡献程度如何？
• RQ4 在真实驾驶场景中，该模型如何处理模糊、长文本或情绪化强烈的指令？
• RQ5 与现有模型相比，用户感知的CAVG在响应准确率、推理速度及整体用户体验方面的质量如何？

主要发现

• CAVG在Talk2Car基准测试中实现了最先进（SOTA）的预测准确率，优于现有模型，包括Stacked VL-BERT、CMSVG和AttnGrounder。
• 即使仅使用50–75%的完整训练数据，模型仍保持高性能，展现出强大的泛化能力与数据效率。
• 在用户研究中，CAVG在响应准确率、推理时间与用户体验三项指标上的平均评分均高于竞争对手5.2%至10.6%。
• 在调查中，CAVG被最多比例的参与者选为首选模型，表明其用户满意度与实际可用性更优。
• 模型在低光照夜间场景、雨天天气以及密集城市道路等挑战性条件下表现出色。
• 通过GPT-4进行情感分类的集成显著提升了意图理解能力，尤其在紧急、指令性或情绪化语气的指令中表现更优。

Figure 2: Schematic of the Model Architecture. The Text Encoder and the Emotion Encoder generate a text vector and an emotion vector, respectively, from the given command, while the Vision Encoder divides the input image into $N$ RoIs, each represented by a vision vector. These vectors are contextua