[논문 리뷰] GPT-4 Enhanced Multimodal Grounding for Autonomous Driving: Leveraging Cross-Modal Attention with Large Language Models

Haicheng Liao, Huanming Shen외 5명|arXiv (Cornell University)|2023. 12. 06.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 GPT-4 기반 정서 모델링, 다중 헤드 다중 모odal 주의, 및 영역 특화 동적(RSD) 레이어를 통합함으로써 자율주행에서 시각적 기반을 향상시키는 새로운 인코더-디코더 프레임워크인 CAVG를 제안한다. 이는 훈련 데이터의 50–75%만으로도 Talk2Car 데이터셋에서 최신 기술 수준의 정확도를 달성하며, 저조도, 악천후, 모호한 명령어 등 도전적인 실생활 시나리오에서도 뛰어난 성능을 보인다.

ABSTRACT

In the field of autonomous vehicles (AVs), accurately discerning commander intent and executing linguistic commands within a visual context presents a significant challenge. This paper introduces a sophisticated encoder-decoder framework, developed to address visual grounding in AVs.Our Context-Aware Visual Grounding (CAVG) model is an advanced system that integrates five core encoders-Text, Image, Context, and Cross-Modal-with a Multimodal decoder. This integration enables the CAVG model to adeptly capture contextual semantics and to learn human emotional features, augmented by state-of-the-art Large Language Models (LLMs) including GPT-4. The architecture of CAVG is reinforced by the implementation of multi-head cross-modal attention mechanisms and a Region-Specific Dynamic (RSD) layer for attention modulation. This architectural design enables the model to efficiently process and interpret a range of cross-modal inputs, yielding a comprehensive understanding of the correlation between verbal commands and corresponding visual scenes. Empirical evaluations on the Talk2Car dataset, a real-world benchmark, demonstrate that CAVG establishes new standards in prediction accuracy and operational efficiency. Notably, the model exhibits exceptional performance even with limited training data, ranging from 50% to 75% of the full dataset. This feature highlights its effectiveness and potential for deployment in practical AV applications. Moreover, CAVG has shown remarkable robustness and adaptability in challenging scenarios, including long-text command interpretation, low-light conditions, ambiguous command contexts, inclement weather conditions, and densely populated urban environments. The code for the proposed model is available at our Github.

연구 동기 및 목표

• 자율주행차(AV)의 복잡하고 동적인 시각적 환경에서 자연어 명령어를 정확히 기반으로 하는 문제를 해결한다.
• 기존 모델이 간과하는 언어 명령어의 정서적 맥락을 모델링함으로써 인간-AV 상호작용을 향상시킨다.
• 저조도, 악천후, 혼잡한 도심 환경과 같은 실생활 조건에서도 시각적 기반의 강건성을 향상시킨다.
• 최소한의 훈련 데이터로도 높은 예측 정확도와 추론 효율성을 달성하여 데이터가 부족한 상황에서도 실용적인 구현을 가능하게 한다.
• 텍스트, 시각, 맥락, 정서, 다중 모달 특징을 통합하는 통합형 다중 모달 프레임워크를 개발하여 종합적인 이해를 실현한다.

제안 방법

• 텍스트(BERT 기반), 정서(GPT-4를 정밀 미세조정하여 감정 및 의도 분석), 시각(ViT 및 BLIP를 통한 시cene 이해), 맥락(시간적 및 공간적 맥락 모델링), 다중 모달(다중 헤드 주의를 통한 다중 모달 융합)을 포함한 다섯 개의 인코더 아키텍처를 활용한다.
• 지역 특화 동적(RSD) 레이어를 통합한 다중 모달 디코더를 사용하여 주의 메커니즘을 조절하고 국소화 정밀도를 향상시킨다.
• 다중 헤드 다중 모달 주의를 사용하여 다양한 모달 간에 언어 토큰과 관련된 시각적 영역을 동적으로 정렬한다.
• GPT-4를 활용해 명령어에서 정서적 단서를 추출하고 분류함으로써 의미적 이해를 넘어서 의도 이해를 향상시킨다.
• 대비 학습 및 마스킹 언어 모델링 목적함수를 사용하여 Talk2Car 데이터셋에서 엔드 투 엔드 CAVG 프레임워크를 훈련시킨다.
• 모델의 깊이와 주의 효율성의 균형을 맞춰 실시간 추론을 최적화함으로써 저지연 응답을 보장한다.

Figure 1: Illustration of Regions Identified by an AV based on a Raw Image and a Natural Language Command. The blue bounding box represents the ground truth. The red and yellow bounding boxes correspond to the prediction results from CAVG with emotion categorization and without emotion categorizatio

실험 결과

연구 질문

• RQ1 GPT-4 기반 정서 모델링을 통합함으로써 자율주행에서 시각적 기반의 정확도와 맥락적 관련성을 향상시킬 수 있는가?
• RQ2 기존 최신 기술 수준의 모델들과 비교해 CAVG 프레임워크는 전체 데이터셋의 50–75%만으로도 성능을 유지하는가?
• RQ3 RSD 레이어와 다중 헤드 다중 모달 주의는 복잡한 시각적 환경에서 국소화 정밀도를 얼마나 향상시키는가?
• RQ4 실생활 주행 상황에서 모호하거나 긴 텍스트, 정서적으로 강한 명령어를 모델이 어떻게 처리하는가?
• RQ5 기존 모델들과 비교해 사용자가 CAVG의 응답 정확도, 추론 속도, 전체 사용자 경험을 어떻게 평가하는가?

주요 결과

• CAVG는 Talk2Car 벤치마크에서 기존의 Stacked VL-BERT, CMSVG, AttnGrounder 등과 비교해 최신 기술 수준의 예측 정확도를 달성한다.
• 모델은 전체 훈련 데이터의 50–75%만으로도 높은 성능을 유지하며, 일반화 능력과 데이터 효율성의 우수함을 입증한다.
• 사용자 연구에서 CAVG는 응답 정확도, 추론 시간, 사용자 경험 측면에서 평균 점수가 경쟁 모델보다 5.2%에서 10.6% 높게 기록되었다.
• 설문 조사에 참여한 참가자 중 가장 많은 비율이 CAVG를 선호함으로써, 뛰어난 사용자 만족도와 실용적 사용성의 우수함을 확인했다.
• 저조도 야간 장면, 비 오는 날씨, 혼잡한 도심 거리 등 도전적인 조건에서도 모델은 뛰어난 성능을 보였다.
• GPT-4를 통한 정서 분류 통합은 특히 급박하거나 지시적, 정서적으로 강한 어조의 명령어에서 의도 이해를 크게 향상시켰다.

Figure 2: Schematic of the Model Architecture. The Text Encoder and the Emotion Encoder generate a text vector and an emotion vector, respectively, from the given command, while the Vision Encoder divides the input image into $N$ RoIs, each represented by a vision vector. These vectors are contextua