[논문 리뷰] LingoQA: Visual Question Answering for Autonomous Driving

Ana-Maria Marcu, Long Chen외 10명|arXiv (Cornell University)|2023. 12. 21.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

LingoQA는 영상 질의응답을 위한 종합적인 벤치마크를 도입하며, 영국 런던 중심부의 실제 주행 환경에서 수집한 자유형 질문과 답변을 포함한 419,000개 샘플로 구성된 데이터셋을 제공한다. 이는 인간 평가와 0.95의 스피어만 상관계수를 보이는 학습된 텍스트 분류기인 Lingo-Judge를 제안하여 BLEU, METEOR, CIDEr, GPT-4와 같은 기존 평가 지표를 뛰어넘는 성능을 달성한다.

ABSTRACT

We introduce LingoQA, a novel dataset and benchmark for visual question answering in autonomous driving. The dataset contains 28K unique short video scenarios, and 419K annotations. Evaluating state-of-the-art vision-language models on our benchmark shows that their performance is below human capabilities, with GPT-4V responding truthfully to 59.6% of the questions compared to 96.6% for humans. For evaluation, we propose a truthfulness classifier, called Lingo-Judge, that achieves a 0.95 Spearman correlation coefficient to human evaluations, surpassing existing techniques like METEOR, BLEU, CIDEr, and GPT-4. We establish a baseline vision-language model and run extensive ablation studies to understand its performance. We release our dataset and benchmark as an evaluation platform for vision-language models in autonomous driving.

연구 동기 및 목표

• 종합적인 자율주행 시스템에서의 설명 가능성 부족이 대중의 신뢰를 저해하므로 이를 해결한다.
• 종합적인 벤치마크가 부족한 탓에 자율주행 영상 질의응답 모델 평가가 어려운 문제를 해결한다.
• 영상 질의응답 출력에 대한 인간 선호도와 강하게 상관관계를 가지는 신뢰할 수 있는 자동 평가 지표를 개발한다.
• 훈련 및 평가를 위해 실제 주행 시나리오에 기반한 자유형 QA 쌍으로 구성된 대규모 고품질 데이터셋을 구축한다.
• 향후 설명 가능한 자율주행 분야의 연구를 이끄는 강력한 베이스라인 모델과 아블레이션 스터디를 수립한다.

제안 방법

• 실제 런던 중심부 주행 환경에서 수집한 419,000개 샘플로 구성된 자유형 QA 쌍 데이터셋을 포함한 자율주행 영상 질의응답을 위한 벤치마크인 LingoQA를 도입한다.
• 인간 평가와의 상관관계를 확보하기 위해 답변의 사실적 정확도를 예측하도록 훈련된, GPT-Judge를 영감으로 삼은 학습된 텍스트 분류기인 Lingo-Judge를 설계한다.
• 인간 애너테이션된 1,000개의 QA 쌍을 포함한 별도의 훈련 세트를 사용해 인간 선호도와의 일치를 보장한다.
• 5초 동안의 4프레임 영상 입력을 바탕으로 후기 융합 기법을 사용해 Vicuna-1.5-7B 기반의 시각-언어 모델을 훈련한다.
• 추론 및 인지 작업 성능 최적화를 위해 시각-언어 모델의 어텐션 레이어에 부분 미세조정을 적용한다.
• 모델 훈련 및 하이퍼파rameter 튜닝 중에 신속하고 확장 가능한 평가를 위해 Lingo-Judge 지표를 활용한다.

실험 결과

연구 질문

• RQ1 자율주행 영상 질의응답 맥락에서 Lingo-Judge와 같은 자동 평가 지표가 인간 평가와 얼마나 잘 상관관계를 가지는가?
• RQ2 자율주행 영상 질의응답에 적합한 시각-언어 모델의 최적 아키텍처와 훈련 전략은 무엇인가?
• RQ3 기본 언어 모델의 선택(예: Vicuna, Llama-2, Mistral)이 LingoQA 벤치마크에서 성능에 어떤 영향을 미치는가?
• RQ4 자유형 질문과 답변의 사용이 영상 질의응답 평가의 현실성과 범위를 어느 정도 향상시키는가?
• RQ5 학습된 평가 지표가 BLEU, METEOR, CIDEr, 심지어 GPT-4와 같은 기존 지표를 뛰어넘어 영상 질의응답 출력을 평가하는 데 성공할 수 있는가?

주요 결과

• Lingo-Judge는 인간 평가와 0.950의 스피어만 상관계수를 기록하며, GPT-4를 포함한 기존 자동 평가 지표를 크게 뛰어넘는 성능을 보였다.
• 최고의 성능을 보인 시각-언어 모델은 언어 헤드로 Vicuna-1.5-7B를 사용했으며, 어텐션 레이어의 부분 미세조정과 후기 영상 융합 기법을 적용했다.
• Vicuna-1.5-7B는 Llama-2-7B 및 Mistral-7B와 같은 다른 7B 모델보다 뛰어난 성능을 보였고, 유사한 파라미터 수를 가진 OPT-7B는 상대적으로 낮은 성능을 보였다.
• 419,900개의 QA 쌍을 포함한 LingoQA 벤치마크는 주행 맥락에서의 추론, 물체 인식, 행동 정당화, 장면 기술 평가가 가능하다.
• 평가 지표는 효율적이며 훈련 및 개발 과정에서 빈번히 사용하기에 적합하여 모델 설계의 빠른 반복을 가능하게 한다.
• 벤치마크와 평가 세트는 공개되어 있어 설명 가능한 자율주행 분야의 연구를 가속화한다.