[논문 리뷰] AesBench: An Expert Benchmark for Multimodal Large Language Models on Image Aesthetics Perception
AesBench는 전문가 라벨링된 미학 데이터베이스와 이미지 미학 인식, 공감, 평가 및 해석에서 MLLMs의 능력을 측정하기 위한 4차원 평가 프레임워크를 구축한다.
With collective endeavors, multimodal large language models (MLLMs) are undergoing a flourishing development. However, their performances on image aesthetics perception remain indeterminate, which is highly desired in real-world applications. An obvious obstacle lies in the absence of a specific benchmark to evaluate the effectiveness of MLLMs on aesthetic perception. This blind groping may impede the further development of more advanced MLLMs with aesthetic perception capacity. To address this dilemma, we propose AesBench, an expert benchmark aiming to comprehensively evaluate the aesthetic perception capacities of MLLMs through elaborate design across dual facets. (1) We construct an Expert-labeled Aesthetics Perception Database (EAPD), which features diversified image contents and high-quality annotations provided by professional aesthetic experts. (2) We propose a set of integrative criteria to measure the aesthetic perception abilities of MLLMs from four perspectives, including Perception (AesP), Empathy (AesE), Assessment (AesA) and Interpretation (AesI). Extensive experimental results underscore that the current MLLMs only possess rudimentary aesthetic perception ability, and there is still a significant gap between MLLMs and humans. We hope this work can inspire the community to engage in deeper explorations on the aesthetic potentials of MLLMs. Source data will be available at https://github.com/yipoh/AesBench.
연구 동기 및 목표
- 이미지 미학 인식의 추상적 과제에 대해 다중모달 대형 언어 모델(MLLMs)의 평가를 촉진한다.
- 다양한 이미지 유형과 미학을 포괄하는 고품질의 전문가 주석 데이터셋(EAPD)을 구축한다.
- Perception(AesP), Empathy(AesE), Assessment(AesA), and Interpretation(AesI)로 구성된 4차원 평가 프레임워크를 제안한다.
- GPT-4V 및 Gemini Pro Vision을 포함한 15개의 MLLMs를 평가하여 현재 모델과 인간 성능 간의 격차를 드러낸다.
- MLLM의 미학적 능력에 대한 추가 연구를 촉진하기 위해 공개적으로 접근 가능한 코드와 데이터를 제공한다.
제안 방법
- 전문가 라벨링된 미학 인식 데이터베이스(EAPD)를 2,800개의 이미지와 8,400개의 질문-답변 쌍 및 2,800개의 미학적 해석을 포함하여 구성하고, 이를 전문가가 주석한다.
- 벤치마크 목적에 해당하는 네 가지 하위집합으로 EAPD를 분할한다: AesPQA, AesEQA, AesAQA, AesInter.
- 네 가지 차원의 평가 프레임워크를 정의한다: AesP(미적 속성의 인식), AesE(공감 및 감정적 공명), AesA(미학적 품질 평가), AesI(미학적 이유의 해석).
- 각 차원을 테스트하기 위해 예/아니오, 무엇, 어떻게, 왜 유형의 질문을 사용하고, 출력 형식의 가변성을 다루기 위해 GPT 보조 평가 전략을 적용한다.
- 원래 가중치로 15개의 MLLMs를 평가하고(데이터셋 특화 튜닝 없이) 옵션 형식에 맞지 않는 출력에 대해 GPT 기반의 정답 확인을 사용한다.
실험 결과
연구 질문
- RQ1현재의 MLLMs가 이미지의 미학적 속성을 올바르게 식별할 수 있는가(AesP)?
- RQ2MLLM이 미학의 정서적 및 경험적 측면을 이해하고 반영할 수 있는가(AesE)?
- RQ3MLLM은 이미지 미학을 얼마나 정확하게 분류하거나 평가할 수 있는가(AesA)?
- RQ4MLLM이 미학적 품질에 대해 일관되고 전문가 정렬된 해석을 어느 정도 생성할 수 있는가(AesI)?
주요 결과
- AesBench는 서로 다른 미학적 작업에서 어떤 MLLMs가 우수한지 구분하고, 인간과의 상당한 차이를 드러낸다.
- GPT-4V와 Gemini Pro Vision은 인식 및 공감 작업에서 뛰어난 성능을 보이지만, 전체 정확도는 이미지 유형(NIs, AIs, AGIs)을 가로질러 여전히 제한적이다.
- AesA 결과는 최고 모델(Q-Instruct)에서 최대 정확도가 약 52.86%로 나타나 자동 미학 점수 매기기 능력이 제한적임을 시사한다.
- 미학적 해석은 높은 관련성과 완전성을 보이지만 상대적으로 낮은 정밀도를 나타내어 언어 기반 설명에서의 환각 위험을 시사한다.
- 차원별로 자연 이미지가 예술적이거나 AI 생성 이미지보다 모델에 더 쉽고, 이는 학습 데이터 편향을 반영한다.
- 벤치마크는 MLLMs의 미학적 추론에서 정밀도와 해석 품질의 개선 필요성을 강조한다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.