[논문 리뷰] Improving Automatic VQA Evaluation Using Large Language Models

Oscar Mañas, Benno Krojer외 1명|arXiv (Cornell University)|2023. 10. 04.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 지문-질문-응답(VQA) 평가 메트릭으로서 LAVE를 제안한다. LAVE는 지시어에 맞춰 튜닝된 대규모 언어모델(LLM)을 활용하여, 컨텍스트 내 학습(in-context learning)을 통해 후보 응답과 기준 응답을 비교함으로써 응답의 정확도를 평가한다. LAVE는 인간 평가와의 상관관계에서 VQA 정확도와 BERTScore와 같은 소프트 메트릭보다 뚜렷이 뛰어나며, 특히 분포 외(out-of-distribution, OOD) 및 어휘 재구성 다수의 설정에서 유의미하게 성능이 뛰어나며, 점수에 대한 설명 가능한 추론 과정을 제공한다.

ABSTRACT

8 years after the visual question answering (VQA) task was proposed, accuracy remains the primary metric for automatic evaluation. VQA Accuracy has been effective so far in the IID evaluation setting. However, our community is undergoing a shift towards open-ended generative models and OOD evaluation. In this new paradigm, the existing VQA Accuracy metric is overly stringent and underestimates the performance of VQA systems. Thus, there is a need to develop more robust automatic VQA metrics that serve as a proxy for human judgment. In this work, we propose to leverage the in-context learning capabilities of instruction-tuned large language models (LLMs) to build a better VQA metric. We formulate VQA evaluation as an answer-rating task where the LLM is instructed to score the accuracy of a candidate answer given a set of reference answers. We demonstrate the proposed metric better correlates with human judgment compared to existing metrics across several VQA models and benchmarks. We hope wide adoption of our metric will contribute to better estimating the research progress on the VQA task. We plan to release the evaluation code and collected human judgments.

연구 동기 및 목표

• 모델이 정확한 응답을 제시하지만 일치하지 않는 경우가 많은 분포 외 평가 설정에서 VQA 정확도의 한계를 해결하기 위해.
• 정확한 일치가 아닌 의미적 동치성까지 고려하는 더 강건하고 인간 평가와의 일치도가 높은 자동 평가 메트릭을 개발하기 위해.
• 지시어에 맞춰 튜닝된 LLM의 추론 및 언어 이해 능력을 활용하여 시각-언어 작업에서의 응답 평가를 향상시키기 위해.
• 기존 메트릭(예: VQA 정확도, BERTScore 등 소프트 메트릭 포함)과의 체계적 평가 및 비교를 통해 LAVE의 성능을 분석하기 위해.
• 인간 평가의 대체로 유의미하고 확장 가능하며 신뢰할 수 있는 자동 평가 메트릭을 제공하기 위해.

제안 방법

• 지시어에 맞춰 튜닝된 LLM이 질문과 기준 응답 세트를 바탕으로 후보 응답의 정확도를 0~1 스케일로 평가하는 응답 평가 작업으로 VQA 평가를 재정의한다.
• LLM의 판단을 이끌기 위해 정답/오답 응답 쌍의 소수 샘플을 포함한 컨텍스트 내 학습을 활용한다.
• 질문, 후보 응답, 기준 응답을 포함한 프롬프트를 설계하여 LLM이 정확도를 0~1 스케일로 평가하도록 지시한다.
• Flan-T5, GPT-3.5 등 다양한 LLM을 활용하여 모델 유형 간의 강건성과 일반화 능력을 평가한다.
• 세 가지 VQA 벤치마크에서 총 22,100개의 테스트 예제에 대해 인간 평가를 수집하여 상관 분석의 기준 데이터로 활용한다.
• Spearman의 ρ와 같은 상관계수를 사용하여 LAVE의 성능을 기준 메트릭과 정량적으로 비교한다.

실험 결과

연구 질문

• RQ1 다양한 VQA 모델과 벤치마크에서 LAVE의 인간 평가와의 상관관계가 VQA 정확도 및 BERTScore와 같은 소프트 메트릭보다 어떻게 다를까?
• RQ2 LAVE는 문장 어순, 어휘 변형, 구조적 차이 등으로 인해 VQA 정확도가 잘못 평가한 정답을 얼마나 회복하는가?
• RQ3 LAVE는 다양한 VQA 평가 설정에서 응답의 어휘 다양성, 어조, 의미적 동치성에 대해 얼마나 강건한가?
• RQ4 Flan-T5와 GPT-3.5와 같은 다양한 LLM 아키텍처가 LAVE 메트릭의 성능과 신뢰성에 어떤 영향을 미치는가?
• RQ5 VQA 정확도의 실패 유형은 무엇이며, LAVE는 이러한 문제를 어느 정도 완화하는가?

주요 결과

• LAVE는 특히 분포 외 및 어휘 재구성 다수의 설정에서 인간 평가와의 상관관계에서 VQA 정확도와 BERTScore와 같은 소프트 메트릭보다 뚜렷이 높은 성능을 보였다.
• LAVE는 VQA 정확도가 어휘나 문법적 차이로 인해 정확한 응답을 잘못 잘못 평가한 경우 약 16.33%를 복구하였다.
• 8.25%의 경우에서 LAVE는 의미적으로 정확한 응답을 정확도 1.0로 평가했지만, VQA 정확도는 0.5 이하의 점수를 기록하여 더 뛰어난 강건성을 입증하였다.
• 모든 평가된 벤치마크에서 LAVE는 소프트 VQA 정확도와 BERTScore를 포함한 모든 기준 메트릭보다 인간 평가와의 Spearman 상관계수에서 뛰어난 성능을 보였다.
• 제거 실험(ablation study) 결과, 지시어 설계와 기준 응답의 사용이 LAVE 성능에 핵심적인 요소임을 확인하였으며, 특히 지시어 설계가 더 큰 영향을 미쳤다.
• LAVE는 점수에 대한 설명 가능한 추론 과정을 제공하여 자동 평가의 투명성과 신뢰도를 향상시켰다.