[논문 리뷰] VLM-AutoDrive: Post-Training Vision-Language Models for Safety-Critical Autonomous Driving Events

Mohammad Qazim Bhat, Yufan Huang외 8명|arXiv (Cornell University)|2026. 03. 18.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

모듈식 사후 학습 프레임워크(VLM-AutoDrive)가 다양하고 멀티모달 감독과 사고-사유 체인 추론을 활용하여 사전 학습된 비전-언어 모델을 안전에 중요한 운전 이벤트(충돌, 근충돌) 탐지에 적합하도록 조정하고, 제로샷 기준선 대비 상당한 이득을 달성합니다.

ABSTRACT

The rapid growth of ego-centric dashcam footage presents a major challenge for detecting safety-critical events such as collisions and near-collisions, scenarios that are brief, rare, and difficult for generic vision models to capture. While multimodal large language models (MLLMs) demonstrate strong general reasoning ability, they underperform in driving contexts due to domain and temporal misalignment. We introduce VLM-AutoDrive, a modular post-training framework for adapting pretrained Vision-Language Models (VLMs) to high-fidelity anomaly detection. The framework integrates metadata-derived captions, LLM-generated descriptions, visual question answering (VQA) pairs, and chain-of-thought (CoT) reasoning supervision to enable domain-aligned and interpretable learning. Off-the-shelf VLMs such as NVIDIA's Cosmos-Reason1 7B (CR1) exhibit near-zero Collision recall in zero-shot settings; fine-tuning with VLM-AutoDrive improves Collision F1 from 0.00 to 0.69 and overall accuracy from 35.35% to 77.27%. VLM-AutoDrive offers a scalable recipe for adapting general-purpose VLMs to safety-critical, temporally localized perception tasks. Evaluated on real-world Nexar dashcam videos, it achieves substantial gains in Collision and Near-Collision detection while producing interpretable reasoning traces, bridging the gap between perception, causality, and decision reasoning in autonomous driving.

연구 동기 및 목표

• 고시간 해상도 운전 이상 탐지에 대한 제로샷 VLM의 한계를 입증한다.
• 도메인 특정 운전 작업에 VLM을 정렬하기 위한 모듈식 사후 학습 프레임워크(VLM-AutoDrive)를 제안한다.
• 시간적 민감도와 해석 가능성을 개선하기 위해 캡션, VQA, MCQ 및 CoT 추론을 포함하는 다양한 감독 파이프라인을 구축한다.
• 충돌 탐지를 넘어 추가 운전 이상에 대한 확장성 및 확장성을 시연한다.

제안 방법

• 도메인 간극을 식별하기 위해 운전 이상 탐지에서 사전 학습된 VLM의 제로샷 성능을 분석한다.
• 다중 모달 감독 신호(MCQs, 캡션, VQA 및 추론 흔적)를 활용하여 기본 VLM을 감독 미세조정(SFT) 체제에서 미세 조정하고, 선택적으로 RL을 뒤따르게 한다.
• 학습을 안내하기 위해 메타데이터 유래 캡션, LLM 출력, VQA 쌍 및 추론 흔적 등을 포함한 Nexar 대시캠 데이터에서 크고 다양한 주석 파이프라인을 생성한다.
• 짧은 이벤트를 포착하기 위해 높은 프레임 레이트로 4–6초 길이의 클립을 생성하는 슬라이딩 윈도우 청킹 전략을 사용하고 클래스 간 데이터를 균형 있게 한다.

Figure 1 : Sliding Window Chunking.

실험 결과

연구 질문

• RQ1 일반 목적 VLM이 제로샷 설정에서 안전에 중요한 운전 이벤트를 탐지할 수 있는가, 아니면 도메인 특화 적응이 필요한가?
• RQ2 다중 모달 및 추론 정보가 포함된 감독이 자안 중심 대시캠 영상에서 충돌 및 근충돌 탐지 성능을 개선하는가?
• RQ3 어떤 데이터 신호(캡션, VQA, MCQs, CoT)가 VLM을 고시간 해상도 운전 이상과 가장 효율적으로 정렬하는가?
• RQ4 추가 운전 이상 클래스에 최소한의 재학습으로도 이 방식이 확장 가능한가?

주요 결과

• 제로샷 VLM은 도메인 적응 없이 운전 맥락에서 충돌에 대한 재현율이 거의 0에 가까운 제로샷 VLM을 보인다.
• VLM-AutoDrive를 이용한 사후 학습은 충돌 탐지 성능을 크게 향상시키며(예: 일부 베이스라인에서 Collision F1이 0.00에서 0.69로 상승), 전체 정확도도 향상시킨다(보고된 설정에서 최대 77.27%).
• 다양한 감독 신호(MCQs, 캡션, VQA)와 추론 흔적은 미세 조정 중 사고-사유 체인 능력을 보존·향상시키고 해석 가능성을 높이는 데 도움을 준다.
• 높은 시간 해상도(30 FPS) 및 데이터 균형이 중요하다; 프레임 속도 증가 및 보정된 클래스 균형이 가장 큰 이득을 준다.
• 추론 감독(추론 MCQs 및 추론 VQA)은 해석 가능한 사고 추적을 생성하고 추론 모드 성능을 향상시키면서도 분류 정확도를 희생하지 않을 수 있다.
• 이 프레임워크는 최소한의 재훈련으로 추가 이상 유형을 포함하는 확장성을 보여준다.

Figure 2 : System Diagram.