[논문 리뷰] GPT-4V as Traffic Assistant: An In-depth Look at Vision Language Model on Complex Traffic Events

Xingcheng Zhou, Alois Knoll|arXiv (Cornell University)|2024. 02. 03.

Bayesian Modeling and Causal Inference인용 수 7

한 줄 요약

이 논문은 다양한 비디오의 키프레임을 사용해 GPT-4V를 복합 교통 사건에 대해 정성적으로 평가하며, 일부 사례에서 제로샷 인식과 추론이 강하나 공간 추론 및 다중 물체 시나리오에서 주목할 만한 한계가 있음을 발견한다.

ABSTRACT

The recognition and understanding of traffic incidents, particularly traffic accidents, is a topic of paramount importance in the realm of intelligent transportation systems and intelligent vehicles. This area has continually captured the extensive focus of both the academic and industrial sectors. Identifying and comprehending complex traffic events is highly challenging, primarily due to the intricate nature of traffic environments, diverse observational perspectives, and the multifaceted causes of accidents. These factors have persistently impeded the development of effective solutions. The advent of large vision-language models (VLMs) such as GPT-4V, has introduced innovative approaches to addressing this issue. In this paper, we explore the ability of GPT-4V with a set of representative traffic incident videos and delve into the model's capacity of understanding these complex traffic situations. We observe that GPT-4V demonstrates remarkable cognitive, reasoning, and decision-making ability in certain classic traffic events. Concurrently, we also identify certain limitations of GPT-4V, which constrain its understanding in more intricate scenarios. These limitations merit further exploration and resolution.

연구 동기 및 목표

• 지능형 교통 시스템에서 교통 사건 이해를 개선할 필요성을 고무한다.
• 고전적 교통 사건에서 GPT-4V의 제로샷 인식 및 고수준 추론을 평가한다.
• 실제 교통 사건 이해 및 보고에서 GPT-4V의 강점과 한계를 파악한다.
• 교통 맥락에서 프롬프트 및 다중 모달 추론의 가능성을 탐색하여 모델 성능 향상을 모색한다.

제안 방법

• 다양한 상황을 다루기 위해 교통 사건 비디오에서 대표적인 keyframe를 선택한다.
• 미세조정 없이(제로샷으로) 사고 및 사건 유형을 인식하는 GPT-4V의 능력을 평가한다.
• 사고 보고서, 인과 설명 및 긴급 권고안을 생성하도록 GPT-4V에 프롬프트를 제시한다.
• 공간 추론, 객체 세부 인식 및 이미지 간 연관성에서 모델의 성능을 분석한다.
• 프롬프트(예: 시각적 단서 강조)가 결과를 개선하는지 혹은 개선하지 못하는 사례를 강조한다.
• 정답은 Providentia++ 및 공개 데이터 세트에서 도출되며; 평가의 초점은 인식, 인과성 및 긴급 대응 추론에 있다.

실험 결과

연구 질문

• RQ1 복합적인 시나리오에서 keyframe로부터 트래픽 이벤트의 존재를 GPT-4V가 인식할 수 있는가?
• RQ2 교통 사고에서 이벤트 유형을 얼마나 정확하게 식별하고 원인 및 책임에 대해 추론할 수 있는가?
• RQ3 교통 이벤트의 공간 추론, 객체 세부 인식 및 이미지 간 연결에서 모델의 능력과 한계는 무엇인가?
• RQ4 프롬프트와 시각적 신호가 교통 사고 보고서와 권고안을 일관되게 생성하는 성능을 어느 정도까지 향상시킬 수 있는가?

주요 결과

교통 사건	사고 / 사건 인식	사건 유형 식별	심각도 분석	긴급 의사결정	참여 인원 수	원인 귀속	책임 추론
Dooring II-A	✓	✓	✓	✓	✓	✓	✓
Run the Red Light at Night II-B	✓	✓	✓	✓	✓	✓	✓
Motorcycle Car Collision II-C	✓	✓	✓	✓	✓	-	-
Rollover II-D	✓	✓	✓	✓	✓	✗	-
Fires and Explosion II-E	✓	✓	✓	✓	✗	✗	-
Vehicle Collision III-A	✗	-	-	-	-	-	-
Vehicle Collision (Highlighted) III-A	✓	✓	✓	✓	✗	✗	✗
Jaywalking III-B	✗	✓	-	-	✗	-	-
Vehicle Smoke III-C	✗	✗	-	-	-	-	-
Vehicle Smoke (Highlighted) III-C	✗	✗	-	-	-	-	-
Multiple Vehicle Collision III-D	✓	✗	-	-	-	-	-

• GPT-4V는 특정 교통 사건에 대해 강한 제로샷 인식을 보여주고 일관된 사고 보고서를 생성할 수 있다.
• 사고 유형이 정확히 식별되면 GPT-4V는 종종 합리적인 긴급 조치와 심각도 평가를 제공한다.
• GPT-4V는 공간 추론, 세부 인식(색상, 헬멧 착용, 트레일러 부착) 및 혼잡한 교통에서의 다중 객체 추적에 현저한 한계를 보인다.
• 이미지 간 연관성과 음향 또는 3D 공간 정보 부재 시에도 성능 격차가 관찰된다.
• 강조된 시각 신호를 포함한 프롬프트가 일부 경우의 인식을 향상시킬 수 있지만 보편적이지 않다.
• 전반적으로 GPT-4V의 고수준 다중 모달 추론 능력은 전망이 있지만 신뢰할 수 있는 세밀한 분석을 위해서는 추가 모달리티나 가이드가 필요하다.