[논문 리뷰] DriveLM: Driving with Graph Visual Question Answering

Chonghao Sima, Katrin Renz외 8명|arXiv (Cornell University)|2023. 12. 21.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 엔드 투 엔드 자율 주행을 인식, 예측, 계획 질문-답변 쌍의 연결된 시퀀스로 모델링하는 새로운 그래프 시각질의 질문-답변(GVQA) 프레임워크인 DriveLM을 소개한다. 새로운 데이터셋(DriveLM-Data)과 통합된 VLM 기반 에이전트인 DriveLM-Agent를 활용하여, 미사용 센서 설정에서도 강력한 제로샷 일반화 성능을 달성하였으며, 전용 주행 아키텍처보다 추론 능력과 상호작용에서 뛰어난 성능을 보였다.

ABSTRACT

We study how vision-language models (VLMs) trained on web-scale data can be integrated into end-to-end driving systems to boost generalization and enable interactivity with human users. While recent approaches adapt VLMs to driving via single-round visual question answering (VQA), human drivers reason about decisions in multiple steps. Starting from the localization of key objects, humans estimate object interactions before taking actions. The key insight is that with our proposed task, Graph VQA, where we model graph-structured reasoning through perception, prediction and planning question-answer pairs, we obtain a suitable proxy task to mimic the human reasoning process. We instantiate datasets (DriveLM-Data) built upon nuScenes and CARLA, and propose a VLM-based baseline approach (DriveLM-Agent) for jointly performing Graph VQA and end-to-end driving. The experiments demonstrate that Graph VQA provides a simple, principled framework for reasoning about a driving scene, and DriveLM-Data provides a challenging benchmark for this task. Our DriveLM-Agent baseline performs end-to-end autonomous driving competitively in comparison to state-of-the-art driving-specific architectures. Notably, its benefits are pronounced when it is evaluated zero-shot on unseen objects or sensor configurations. We hope this work can be the starting point to shed new light on how to apply VLMs for autonomous driving. To facilitate future research, all code, data, and models are available to the public.

연구 동기 및 목표

• 현재 엔드 투 엔드 자율 주행 시스템에서의 일반화 부족과 인간이 이해할 수 있는 추론의 부족을 해결한다.
• 단일 라운드 VQA나 객체 수준의 VQA의 한계를 극복하기 위해 인간의 주행 결정과 유사한 논리적 의존성과 다단계 추론을 모델링한다.
• 추론 기반 자율 주행 연구를 지원하기 위해 기준 데이터셋(DriveLM-Data)과 평가 지표(DriveLM-Metrics)를 개발한다.
• VLM 기반 추론을 통해 미사용 센서 구성과 시나리오에 대한 제로샷 일반화를 가능하게 한다.
• 결정 과정에 자연어를 입력 및 출력으로 사용하여 자율 주행 차량 내 인간-AI 상호작용을 향상시킨다.

제안 방법

• 엔드 투 엔드 자율 주행의 추론을 인식, 예측, 계획 QA 쌍의 방향성 있는 그래프로 구조화하는 그래프 시각질의 질문-답변(GVQA) 작업을 제안한다.
• 다중 모odal 입력(이미지, 언어, 시cene 컨텍스트)을 사용하여 GVQA와 엔드 투 엔드 주행 정책 예측을 동시에 수행하는 통합된 VLM 기반 에이전트인 DriveLM-Agent를 설계한다.
• nuScenes와 CARLA 기반으로 구축된 대규모 데이터셋인 DriveLM-Data를 구축하였으며, 인식, 예측, 계획 단계에서 풍부한 다중 라운드 QA 주석을 포함한다.
• QA 쌍 간의 논리적 의존성을 통합하여 객체 간 상호작용과 작업 진행 순서를 모델링함으로써 단계적 추론을 가능하게 한다.
• 웹 스케일 VLM 사전학습과 DriveLM-Data에서의 다중 작업 목표(질문-답변 및 궤적 예측 통합)를 활용한 미세조정을 통해 DriveLM-Agent를 훈련시킨다.
• DriveLM-Metrics를 사용하여 미사용 센서 설정(예: Waymo, 보행자 유무에 관계없이 nuScenes)에서의 제로샷 일반화를 평가하며, 이격 오차와 QA 정확도를 측정한다.

실험 결과

연구 질문

• RQ1 다중 라운드 VQA를 통한 그래프 구조적 추론이 엔드 투 엔드 자율 주행에서 제로샷 일반화를 향상시키는가?
• RQ2 인식, 예측, 계획을 상호 연결된 QA 쌍으로 통합함으로써 고립된 VQA나 궤적 전용 모델 대비 추론 능력과 의사결정 능력이 향상되는가?
• RQ3 구조화된 QA 벤치마크에서 미세조정된 시각-언어 모델이 미사용 센서 구성과 시나리오로의 일반화 능력이 어느 정도 향상되는가?
• RQ4 풍부한 다수준 QA 주석(인식 → 예측 → 계획)의 포함이 자율 주행 성능 향상에 기여하는 정도는 어떠한가?
• RQ5 VLM가 인간 우호적인 출력을 제공하는 원칙적이고 해석 가능하며 일반화 가능한 엔드 투 엔드 주행 시스템의 핵심 기반으로 기능할 수 있는가?

주요 결과

• DriveLM-Agent는 특히 미사용 센서 구성에 대한 제로샷 일반화에서 최신 전용 주행 아키텍처와 비교해도 경쟁 가능한 엔드 투 엔드 주행 성능을 달성하였다.
• 미사용 센서 설정(예: Waymo, 보행자 유무에 관계없이 nuScenes)에서 강력한 제로샷 일반화 성능을 보였으며, 이격 오차와 QA 정확도에서 뚜렷한 성능 향상을 보였다.
• 질문별 아블레이션 연구를 통해 성능 향상의 주요 원인이 단순히 인식 수준의 QA가 아니라 그래프 구조 내 예측 및 계획 QA 쌍의 포함에 기인한다는 것이 확인되었다.
• DriveLM-Data는 인식, 예측, 계획 단계에서 풍부한 다수준 주석을 포함하여 추론 기반 자율 주행 연구에 도전적인 벤치마크를 제공한다.
• 입력과 출력 모두 자연어를 사용함으로써 인간이 이해할 수 있는 의사결정 과정을 가능하게 하여 자율 시스템의 투명성과 신뢰도를 향상시켰다.
• DriveLM-Metrics는 궤적 예측과 QA 정확도를 모두 평가하여 추론 능력과 일반화 능력의 종합적 벤치마크를 가능하게 하였다.