[논문 리뷰] MM-BigBench: Evaluating Multimodal Models on Multimodal Content Comprehension Tasks

Xiaocui Yang, Wenfang Wu외 8명|arXiv (Cornell University)|2023. 10. 13.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 다중모달 콘텐츠 이해 작업에 초점을 맞춘 다중모달 대규모 언어 모델(MLLM)을 평가하기 위한 종합적인 평가 프레임워크인 MM-BigBench를 소개한다. 14개 데이터셋과 6개 작업을 통해 모델 및 지시어 성능을 평가하기 위해 새로운 지표인 최고 성능, 평균 상대 향상도, 안정성, 적응성 등을 제안하며, InstructBLIP와 BLIP-2가 최고 성능을 기록한 것으로 드러났다. 또한 지시어 설계가 모델의 민감도와 적응성에 큰 영향을 미친다는 점이 확인되었다.

ABSTRACT

The popularity of multimodal large language models (MLLMs) has triggered a recent surge in research efforts dedicated to evaluating these models. Nevertheless, existing evaluation studies of MLLMs primarily focus on the comprehension and reasoning of unimodal (vision) content, neglecting performance evaluations in the domain of multimodal (vision-language) content understanding. Beyond multimodal reasoning, tasks related to multimodal content comprehension necessitate a profound understanding of multimodal contexts, achieved through the multimodal interaction to obtain a final answer. In this paper, we introduce a comprehensive assessment framework called MM-BigBench, which incorporates a diverse range of metrics to offer an extensive evaluation of the performance of various models and instructions across a wide spectrum of diverse multimodal content comprehension tasks. Consequently, our work complements research on the performance of MLLMs in multimodal comprehension tasks, achieving a more comprehensive and holistic evaluation of MLLMs. To begin, we employ the Best Performance metric to ascertain each model's performance upper bound on different datasets. Subsequently, the Mean Relative Gain metric offers an assessment of the overall performance of various models and instructions, while the Stability metric measures their sensitivity. Furthermore, previous research centers on evaluating models independently or solely assessing instructions, neglecting the adaptability between models and instructions. We propose the Adaptability metric to quantify the adaptability between models and instructions. Our paper evaluates a total of 20 language models (14 MLLMs) on 14 multimodal datasets spanning 6 tasks, with 10 instructions for each task, and derives novel insights. Our code will be released at https://github.com/declare-lab/MM-BigBench.

연구 동기 및 목표

• 기존의 시각-언어 추론을 넘어서 다중모달 콘텐츠 이해 작업에서 MLLM을 평가하는 데에 미치지 못한 격차를 메우기 위해.
• 다양한 다중모달 작업을 통해 모델 및 지시어 성능를 포괄적으로 측정할 수 있는 통합 평가 프레임워크를 개발하기 위해.
• 이전 평가에서 간과되었던 모델-지시어 간의 적응성 차원을 수량화하기 위해.
• 14개의 다중모달 데이터셋에서 20개 모델(14개 MLLM)에 대한 벤치마크 결과를 제공하기 위해.
• 세분화된 감성 및 관계 분류 작업에서 모델 민감도, 안정성, 지시어 효과성에 대한 통찰을 제공하기 위해.

제안 방법

• 다중모달 콘텐츠 이해 작업에서 MLLM 성능을 평가하기 위한 종합적인 평가 프레임워크인 MM-BigBench를 제안하며, 다양한 지표를 통합한다.
• 각 데이터셋에서 모델의 최고 성능를 도출하기 위해 '최고 성능' 지표를 도입한다.
• 모델 및 지시어의 종합적인 성능를 평가하기 위해 '평균 상대 향상도' 지표를 사용하며, 기준선 대비 상대적 향상을 측정한다.
• 지시어 변화에 대한 모델 민감도를 수량화하기 위해 '안정성' 지표를 사용하며, 낮은 값일수록 더 높은 내구성을 의미한다.
• 특정 모델과 특정 지시어 조합에서의 성능 향상 정도를 측정하기 위해 '적응성' 지표를 도입한다.
• 6개의 다중모달 이해 작업을 포함하여, 14개 데이터셋과 10개의 지시어(각 작업당)를 통해 20개 모델(14개 MLLM)을 평가한다.

실험 결과

연구 질문

• RQ1 표준 VQA 이외의 다양한 다중모달 콘텐츠 이해 작업에서 서로 다른 MLLM은 어떻게 성능을 내는가?
• RQ2 지시어 설계가 모델 성능에 어떤 영향을 미치며, 어떤 지시어가 가장 일관된 결과를 낳는가?
• RQ3 MLLM은 다양한 지시어에 대해 얼마나 안정적인가? 지시어 변화에 가장 민감하지 않은 모델은 무엇인가?
• RQ4 모델-지시어 조합을 얼마나 효과적으로 적응시킬 수 있으며, 어떤 조합이 가장 효과적인가?
• RQ5 모수적 분류와 세분화된 분류 작업(예: MOSI-2 대비 MOSI-7) 간의 성능 추세는 어떻게 다를까?

주요 결과

• InstructBLIP와 BLIP-2는 텍스트 컨텍스트가 있는 VQA 작업에서 각각 143.86과 148.67의 평균 상대 향상도를 기록하여 뛰어난 종합 성능를 보였다.
• ChatGPT는 MOSI-2와 MOSI-7 데이터셋에서 가장 높은 개별 성능를 기록했지만, 높은 민감도를 보였으며, MOSI-7에서 안정성 점수 2.17을 기록하여 지시어에 따라 성능이 일관되지 않음을 시사했다.
• 지시어 #2는 '옵션'을 포함한 질문-답변 형식을 사용하여 대부분의 데이터셋에서 최고 성능를 기록했으며, MOSI-7에서 평균 상대 향상도 56.91을 기록했다.
• '적응성' 지표는 모델-지시어 조합이 성능에 큰 영향을 미친다는 점을 드러내었으며, InstructBLIP는 특정 지시어에 대해 뛰어난 적응성을 보였다.
• Flan-T5-XXL는 MOSI-2에서 높은 안정성(0.73)을 기록하며 지시어 간 일관된 성능를 보였고, 내구성 면에서 ChatGPT를 능가했다.
• 세분화된 데이터셋(MOSI-7, MOSEI-7)에서 성능 변동이 더 심해 안정성 점수가 3.0을 초과하여, 지시어 및 모델 선택에 더 민감한 것으로 나타났다.