Skip to main content
QUICK REVIEW

[논문 리뷰] MLLM-as-a-Judge: Assessing Multimodal LLM-as-a-Judge with Vision-Language Benchmark

Dongping Chen, Ruoxi Chen|arXiv (Cornell University)|2024. 02. 07.
Natural Language Processing TechniquesComputer Science인용 수 5
한 줄 요약

다중모달 LLM을 판단자로 보는 벤치마크를 도입하여 다중모달 LLM이 스코어링 평가, 페어 비교, 배치 랭킹에 걸친 판단을 평가하며, 14개 데이터셋과 4,414개의 이미지-지시 쌍을 사용합니다; GPT-4V가 인간 판단에 가장 근접하게 정렬되는 반면, 다른 모델들은 편향과 환각을 보입니다.

ABSTRACT

Multimodal Large Language Models (MLLMs) have gained significant attention recently, showing remarkable potential in artificial general intelligence. However, assessing the utility of MLLMs presents considerable challenges, primarily due to the absence of multimodal benchmarks that align with human preferences. Drawing inspiration from the concept of LLM-as-a-Judge within LLMs, this paper introduces a novel benchmark, termed MLLM-as-a-Judge, to assess the ability of MLLMs in assisting judges across diverse modalities, encompassing three distinct tasks: Scoring Evaluation, Pair Comparison, and Batch Ranking. Our study reveals that, while MLLMs demonstrate remarkable human-like discernment in Pair Comparison, there is a significant divergence from human preferences in Scoring Evaluation and Batch Ranking. Furthermore, a closer examination reveals persistent challenges in the judgment capacities of LLMs, including diverse biases, hallucinatory responses, and inconsistencies in judgment, even in advanced models such as GPT-4V. These findings emphasize the pressing need for enhancements and further research efforts to be undertaken before regarding MLLMs as fully reliable evaluators. In light of this, we advocate for additional efforts dedicated to supporting the continuous development within the domain of MLLM functioning as judges. The code and dataset are publicly available at our project homepage: \url{https://mllm-judge.github.io/}.

연구 동기 및 목표

  • 인간의 선호도에 맞춘 MLLMs용 다중모달 판단 벤치마크를 동기 부여하고 정의한다.
  • 다양한 모달리티에 걸친 세 가지 판단 작업에서 주요 MLLMs를 평가하기 위한 데이터셋을 선별한다.
  • MLLM 판단에서의 편향, 환각, 일관성 문제를 특성화한다.
  • 향후 MLLM-판사로서의 개선을 안내할 데이터셋과 인사이트를 제공한다.

제안 방법

  • 14개 데이터셋에서 이미지-지시 쌍을 수집하여 4,414개의 이미지-지시 쌍을 구성한다.
  • 주요 6개 MLLM으로 응답을 생성하여 판단용 응답 세트를 만든다.
  • 세 가지 작업(스코어링 평가, 페어 비교, 배치 랭킹)을 사용하여 MLLM 판단을 사람 주석과 주석에 근거해 주석화하고 비교한다.
  • 피어슨 유사도, 정확도/정밀도/재현율, 정규화 레벤스타인 거리를 사용하여 인간 판단과의 정렬 정도를 분석한다.
  • MLLM 판단에서의 편향(자기중심적, 위치, 길이/수다스러움)과 환각을 조사한다.
  • 사고의 흐름 유도 프롬프트(chain-of-thought)와 비전 설명이 판단 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

  • RQ1MLLM이 다중모달 영역에서 판단자로서 효과적으로 작동할 수 있는가, 그리고 그들의 평가가 인간의 선호도와 얼마나 밀접하게 일치하는가?
  • RQ2스코어링 평가, 페어 비교, 배치 랭킹에서 MLLM이 인간 판단과 얼마나 잘 일치하는가?
  • RQ3MLLM 판단에 어떤 편향이나 환각이 영향을 미치며, 프롬프트 전략이 이를 완화할 수 있는가?
  • RQ4시각 입력(설명 대신)을 제공하는 것이 다중모달 판단 성능을 향상시키는가?
  • RQ5다단계 CoT 방식이 판단 성능을 향상시키는가 아니면 저하시키는가?

주요 결과

  • GPT-4V가 설정 전반에 걸쳐 인간 주석과의 정렬이 가장 근접하게 나타나며, 다른 MLLMs보다 우수하다.
  • MLLM은 페어 비교에서 인간 선호도와 잘 정렬되지만, 스코어링 평가와 배치 랭킹에서는 뚜렷한 차이를 보인다.
  • 환각과 편향(자기중심적, 위치, 길이)이 만연하여 판단 신뢰성에 영향을 주며, 특히 배치 랭킹에서 두드러진다.
  • 시각 입력과 시각 설명을 함께 사용하면 판단 성능이 크게 향상되며, 때로는 비전 없는 기준선을 능가한다.
  • 3단계 CoT는 환각을 줄이지만 인간 선호도와의 정렬을 일관되게 향상시키지 못하며 때로는 판단 품질을 해친다.
  • 일부 모델에서 확장 효과가 나타나며, 더 큰 LLM이 특정 작업에서 더 강한 성능을 보인다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.