[論文レビュー] AesBench: An Expert Benchmark for Multimodal Large Language Models on Image Aesthetics Perception
AesBench は専門家ラベル付き美学データベースと4次元評価フレームワークを構築し、MLLMの画像美学知覚、共感、評価、解釈における能力を測定する。
With collective endeavors, multimodal large language models (MLLMs) are undergoing a flourishing development. However, their performances on image aesthetics perception remain indeterminate, which is highly desired in real-world applications. An obvious obstacle lies in the absence of a specific benchmark to evaluate the effectiveness of MLLMs on aesthetic perception. This blind groping may impede the further development of more advanced MLLMs with aesthetic perception capacity. To address this dilemma, we propose AesBench, an expert benchmark aiming to comprehensively evaluate the aesthetic perception capacities of MLLMs through elaborate design across dual facets. (1) We construct an Expert-labeled Aesthetics Perception Database (EAPD), which features diversified image contents and high-quality annotations provided by professional aesthetic experts. (2) We propose a set of integrative criteria to measure the aesthetic perception abilities of MLLMs from four perspectives, including Perception (AesP), Empathy (AesE), Assessment (AesA) and Interpretation (AesI). Extensive experimental results underscore that the current MLLMs only possess rudimentary aesthetic perception ability, and there is still a significant gap between MLLMs and humans. We hope this work can inspire the community to engage in deeper explorations on the aesthetic potentials of MLLMs. Source data will be available at https://github.com/yipoh/AesBench.
研究の動機と目的
- 抽象的なタスクである画像美学知覚に対するマルチモーダル大規模言語モデル(MLLM)の評価を動機づける。
- 多様な画像タイプと美学をカバーする高品質な専門家注釈データセット(EAPD)を構築する。
- Perception (AesP)、Empathy (AesE)、Assessment (AesA)、Interpretaion (AesI) の4次元評価フレームワークを提案する。
- GPT-4V および Gemini Pro Vision を含む15のMLLMを評価し、現在のモデルと人間の性能とのギャップを明らかにする。
- MLLMの美学的能力に関するさらなる研究を促進するため、公開可能なコードとデータを提供する。)
提案手法
- 専門的な美学の専門家によって注釈された、2,800枚の画像と8,400組の質問–回答ペア、および2,800の美学的解釈からなる Expert-labeled Aesthetics Perception Database (EAPD) を作成する。
- EAPD をベンチマークの目的に対応する4つのサブセット(AesPQA、AesEQA、AesAQA、AesInter)に分割する。
- 4次元評価フレームワークを定義する:AesP(美的属性の知覚)、AesE(共感と感情的共鳴)、AesA(美的品質の評価)、AesI(美的理由の解釈)。
- 各次元をテストするために Yes/No、What、How、Why の質問タイプを使用し、出力形式のばらつきを扱うためにGPT支援の評価手法を適用する。
- 元の重みで15のMLLMを評価し(データセット特有のチューニングなし)、選択肢形式に適合しない出力にはGPTベースの真偽チェックを適用する。)
実験結果
リサーチクエスチョン
- RQ1現在のMLLMは画像の美的属性を正しく識別できるか(AesP)?
- RQ2MLLMは美学の感情的・経験的側面を理解し、反映できるか(AesE)?
- RQ3MLLMは画像美学をどの程度正確に分類または評価できるか(AesA)?
- RQ4MLLMは美的品質の一貫性のある専門家に合わせた解釈をどの程度生成できるか(AesI)?
主な発見
- AesBench は、異なる美学タスクで優れている ML LMs を区別し、人間との間に実質的なギャップを明らかにする。
- GPT-4V と Gemini Pro Vision は知覚と共感タスクで高い性能を示すが、全体的な正確性は画像タイプ(NIs、AIs、AGIs)を通じて依然限定的。
- AesA の結果は、最良モデル(Q-Instruct)で最大精度が約52.86%を示しており、自動的な美学スコアリング能力は限定的であることを示している。
- 美的解釈は高い関連性と網羅性を示す一方、比較的低い精度であり、言語ベースの説明における幻覚リスクを示唆している。
- 次元を通じて、自然画像は芸術的またはAI生成画像よりモデルにとって扱いやすく、訓練データのバイアスを反映している。
- このベンチマークは、MLLM の美学的推論における精度と解釈品質の改善の必要性を強調している。
この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。