[논문 리뷰] SEED-Bench-2: Benchmarking Multimodal Large Language Models

Bohao Li, Yuying Ge외 5명|arXiv (Cornell University)|2023. 11. 28.

Topic Modeling인용 수 6

한 줄 요약

SEED-Bench-2는 다중모달 대규모 언어모델(MLLM)의 평가를 위한 종합적이고 계층적인 벤치마크를 도입하며, L₀에서 L₄까지 5단계의 능력 수준을 갖추고 있으며, L₃까지의 번갈아 가며 배치된 이미지-텍스트 입력의 이해 및 생성 능력을 중심으로 평가한다. 27개 차원에 걸쳐 인간이 애너테이션한 다중 선택 문제 24,371道를 포함하여, GPT에 의존하지 않고도 객관적인 평가가 가능하게 하며, 현재 MLLM의 핵심적 한계를 드러내고 향후 AGI 연구를 이끌어내는 데 기여한다.

ABSTRACT

Multimodal large language models (MLLMs), building upon the foundation of powerful large language models (LLMs), have recently demonstrated exceptional capabilities in generating not only texts but also images given interleaved multimodal inputs (acting like a combination of GPT-4V and DALL-E 3). However, existing MLLM benchmarks remain limited to assessing only models' comprehension ability of single image-text inputs, failing to keep up with the strides made in MLLMs. A comprehensive benchmark is imperative for investigating the progress and uncovering the limitations of current MLLMs. In this work, we categorize the capabilities of MLLMs into hierarchical levels from $L_0$ to $L_4$ based on the modalities they can accept and generate, and propose SEED-Bench-2, a comprehensive benchmark that evaluates the extbf{hierarchical} capabilities of MLLMs. Specifically, SEED-Bench-2 comprises 24K multiple-choice questions with accurate human annotations, which spans 27 dimensions, including the evaluation of both text and image generation. Multiple-choice questions with groundtruth options derived from human annotation enables an objective and efficient assessment of model performance, eliminating the need for human or GPT intervention during evaluation. We further evaluate the performance of 23 prominent open-source MLLMs and summarize valuable observations. By revealing the limitations of existing MLLMs through extensive evaluations, we aim for SEED-Bench-2 to provide insights that will motivate future research towards the goal of General Artificial Intelligence. Dataset and evaluation code are available at \href{https://github.com/AILab-CVC/SEED-Bench}

연구 동기 및 목표

• 기존 벤치마크가 단일 이미지 텍스트 이해만 평가하는 데 그쳐 다중모달 LLM의 발전하는 능력에 뒤처지는 점을 보완하기 위해.
• 입력 및 출력 모odal에 기반해 MLLM 능력을 체계적으로 분류하는 계층적 프레임워크(L₀에서 L₄까지)를 제안하기 위해.
• GPT나 인간 평가에 의존하지 않고도 인간이 검증한 참값을 기반으로 하여 추론 시 GPT나 인간 판단 없이도 객관적이고 확장 가능한 평가를 가능하게 하는 스케일러블한 평가 벤치마크를 개발하기 위해.
• 다양한 다중모달 추론 및 생성 작업을 통해 23개의 오픈소스 MLLM을 종합적으로 평가하여 현재 모델의 핵심적 한계를 드러내기 위해.

제안 방법

• 벤치마크는 세 부분으로 구성되며, Part-1은 L₁(이미지 및 텍스트 이해)를 평가하고, Part-1&2는 L₂(혼합된 이미지-텍스트 이해)를 평가하며, Part-1&2&3는 L₃(이미지 및 텍스트 생성)을 평가한다.
• 다중 선택 문제들은 GPT-4와 ChatGPT를 사용해 자동 생성되며, BLIP2, Tag2Text, SAM, PaddleOCR를 통해 추출된 시각 정보를 기반으로 이미지 캡션, 개체 기술, 텍스트 요소를 제공한다.
• 세 단계의 필터링 파이프라인을 통해 시각적 기반을 확보한다: Vicuna-7B, Flan-T5-XXL, LLaMA-7B와 같은 LLM을 사용해 이미지 없이도 답할 수 있는 질문을 제거하여, 비시각적 질문 비율을 5.52% 감소시킨다.
• 모든 질문-답안 쌍은 인간 애너테이터가 검증하며, 정답 선택지 선정 및 차원 할당을 수행하고, 모호하거나 잘못되거나 다중 정답인 질문은 기각한다.
• 최종 벤치마크에는 인간이 검증한 답변을 가진 24,371개의 질문이 포함되어 있으며, 추론 시 GPT 기반 또는 인간 평가가 필요 없이 객관성을 확보한다.
• 평가 대상은 23개의 오픈소스 MLLM이며, 성능은 27개의 차원과 계층적 수준(L₁에서 L₃)에 걸쳐 보고된다.

실험 결과

연구 질문

• RQ1 현재 MLLM은 기본 이해에서 복잡한 이미지 및 텍스트 생성에 이르기까지 다중모달 능력의 계층적 스펙트럼에서 어떻게 성능을 발휘하는가?
• RQ2 기존 MLLM은 추론 및 시각적 이해 작업에서 특히 혼합된 다중모달 입력으로부터 정확한 이미지와 일관성 있는 텍스트를 얼마나 잘 생성할 수 있는가?
• RQ3 GPT나 인간 간섭 없이 대규모 인간 애너테이션 기반 벤치마크에서 평가했을 때, 다양한 MLLM은 다중모달 출력을 얼마나 잘 기반으로 생성하는가?
• RQ4 현재 MLLM은 복잡한 추론 및 시각적 기반 작업에서 다중모달 콘텐츠 생성 시 어떤 핵심적 한계를 보이는가?

주요 결과

• SEED-Bench-2는 27개의 차원과 세 계층 수준(L₁에서 L₃)을 기준으로 23개의 오픈소스 MLLM을 평가하며, 지금까지 가장 큰 규모인 24,371개의 인간 애너테이션 다중 선택 문제를 포함한다.
• 가장 높은 성능을 보인 모델인 SEED-LLaMA(13B)는 L₃ 부분에서 65.8점의 점수를 기록하여 다중모달 생성 능력 향상의 진전을 보였지만, 여전히 인간 수준의 성능과는 거리가 멀다.
• L₃ 생성 과제에서 점수 40% 이상을 달성한 모델는 단 36.7%에 불과하여 현재 MLLM의 혼합 입력에서 정확하고 일관성 있는 이미지 및 텍스트 생성 능력에 심각한 한계가 있음을 드러낸다.
• 자동 필터링 파이프라인은 시각적 입력 없이도 답할 수 있는 질문을 5.52% 감소시켜, 최종적으로는 오직 시각적 기반 질문만 포함된 벤치마크를 확보했다.
• SEED-Bench-2는 규모와 범위 면에서 이전의 벤치마크를 능가하며, MMBench보다 8배, MME보다 10배 많은 질문을 포함하여 더 강력하고 신뢰할 수 있는 모델 평가를 가능하게 한다.
• 벤치마크는 현재 MLLM이 복잡한 추론 및 시각적 기반 작업에서 생성 능력에서 가장 큰 어려움을 겪고 있음을 드러내며, AGI 향한 핵심 연구 격차를 명확히 한다.