[논문 리뷰] GPT-4V(ision) as a Generalist Evaluator for Vision-Language Tasks

Xinlu Zhang, Yujie Lu외 8명|arXiv (Cornell University)|2023. 11. 02.

Multimodal Machine Learning Applications인용 수 13

한 줄 요약

이 논문은 단일 정답 채점과 쌍대 비교를 사용하여 다양한 비전-언어 과제에 대한 보편적이고 기준(reference-free) 평가자로서 GPT-4V를 조사하고, 여러 과제에서 인간과의 성능을 비교합니다. 인간에 맞춘 채점의 유망성 및 시각적 명료성의 한계와 지식 집약적 사례에서의 한계를 강조합니다.

ABSTRACT

Automatically evaluating vision-language tasks is challenging, especially when it comes to reflecting human judgments due to limitations in accounting for fine-grained details. Although GPT-4V has shown promising results in various multi-modal tasks, leveraging GPT-4V as a generalist evaluator for these tasks has not yet been systematically explored. We comprehensively validate GPT-4V's capabilities for evaluation purposes, addressing tasks ranging from foundational image-to-text and text-to-image synthesis to high-level image-to-image translations and multi-images to text alignment. We employ two evaluation methods, single-answer grading and pairwise comparison, using GPT-4V. Notably, GPT-4V shows promising agreement with humans across various tasks and evaluation methods, demonstrating immense potential for multi-modal LLMs as evaluators. Despite limitations like restricted visual clarity grading and real-world complex reasoning, its ability to provide human-aligned scores enriched with detailed explanations is promising for universal automatic evaluator.

연구 동기 및 목표

• 비전-언어 과제에 대한 일반 목적 평가자으로서의 GPT-4V의 능력을 평가합니다.
• 다수의 모달리티에서 GPT-4V의 평가를 인간 판단과 비교합니다.
• 평가 방법 간의 일관성 분석(단일 정답 채점 대 쌍 비교).
• 현실 세계 작업에서 자동 평가자로서의 GPT-4V의 강점과 한계를 파악합니다.

제안 방법

• 다중 모달 입력-출력 쌍을 평가하기 위해 두 가지 평가 체계를 사용합니다: 단일 정답 채점과 쌍 비교.
• 이미지-텍스트 자막 생성, 텍스트-이미지 생성, 이미지 편집, 다중 이미지-텍스트 정렬 등 과제를 평가합니다.
• 자막 생성 과제에서 GPT-4V의 평가를 인간 평가자와 기준이 되는 강력한 무참조 기준선(CLIPScore)과 비교합니다.
• 미세한 정렬을 탐구하기 위해 어려운 네거티브 자막과 통제된 이미지 쌍을 구성합니다.

실험 결과

연구 질문

• RQ1 GPT-4V가 다양한 다중 모달 과제에 대해 합리적이고 설명이 풍부한 평가를 제공할 수 있습니까?
• RQ2 단일 정답 채점과 쌍 비교 간에 GPT-4V의 평가 일관성이 있습니까?
• RQ3 단일 정답 및 쌍 비교 설정 모두에서 GPT-4V가 인간 판단과 일치합니까?
• RQ4 시각-언어 평가자로서의 GPT-4V의 한계는 무엇입니까(예: 시각적 명료성, 지식 집약적 과제 등)?

주요 결과

• GPT-4V는 실제 정답과 어려운 음성 세트 모두에서 이미지-텍스트 자막에서 인간 평가와의 상관관계가 유의하게 나타나며, 정렬에서 CLIPScore를 능가합니다.
• 이미지-텍스트 과제에서 단일 정답 채점과 쌍 비교 사이에서 인간 평가자와의 일치율이 약 91%에 이릅니다.
• 텍스트-이미지 생성 및 텍스트로 안내된 이미지 편집 과제에서 인간과 일반적으로 일치하지만, 시각적 명료성 판단 및 지식 집약적 프롬프트에서는 어려움을 보입니다.
• 다중 이미지-텍스트 정렬 과제에서 약 0.8의 피어슨/스피어만 상관계수를 달성하여 인간 점수와의 강한 정렬을 나타냅니다.
• 평가 방법 간의 일관성은 이미지-텍스트 과제에서 높고, 텍스트-이미지 과제에서는 낮으며, 일부 과제에서 위치 편향 분석이 관찰됩니다.