[論文レビュー] SEED-Bench-2: Benchmarking Multimodal Large Language Models

Bohao Li, Yuying Ge+5 more|arXiv (Cornell University)|Nov 28, 2023

Topic Modeling被引用数 6

ひとこと要約

SEED-Bench-2 は、5段階の能力レベル（L₀ から L₄）にわたり、マルチモーダル大規模言語モデル（MLLMs）を包括的かつ階層的に評価するための包括的で階層的なベンチマークを導入している。特に L₃ までで、入れ違いの画像・テキスト入力を理解し、生成する能力を評価することに焦点を当てている。27の次元にわたり、人間がアノテートした24,371個の選択肢付きの問題を含み、GPT を使用しない客観的な評価を可能にし、テキストおよび画像生成の両方を評価することで、現在の MLLMs に潜む重要な限界を明らかにし、将来の AGI の研究を導く。

ABSTRACT

Multimodal large language models (MLLMs), building upon the foundation of powerful large language models (LLMs), have recently demonstrated exceptional capabilities in generating not only texts but also images given interleaved multimodal inputs (acting like a combination of GPT-4V and DALL-E 3). However, existing MLLM benchmarks remain limited to assessing only models' comprehension ability of single image-text inputs, failing to keep up with the strides made in MLLMs. A comprehensive benchmark is imperative for investigating the progress and uncovering the limitations of current MLLMs. In this work, we categorize the capabilities of MLLMs into hierarchical levels from $L_0$ to $L_4$ based on the modalities they can accept and generate, and propose SEED-Bench-2, a comprehensive benchmark that evaluates the extbf{hierarchical} capabilities of MLLMs. Specifically, SEED-Bench-2 comprises 24K multiple-choice questions with accurate human annotations, which spans 27 dimensions, including the evaluation of both text and image generation. Multiple-choice questions with groundtruth options derived from human annotation enables an objective and efficient assessment of model performance, eliminating the need for human or GPT intervention during evaluation. We further evaluate the performance of 23 prominent open-source MLLMs and summarize valuable observations. By revealing the limitations of existing MLLMs through extensive evaluations, we aim for SEED-Bench-2 to provide insights that will motivate future research towards the goal of General Artificial Intelligence. Dataset and evaluation code are available at \href{https://github.com/AILab-CVC/SEED-Bench}

研究の動機と目的

• 既存のベンチマークが単一画像のテキスト理解のみを評価しているというギャップを是正すること。これにより、マルチモーダル LLM の進化に追いついていない。
• 入力および出力モダリティに基づいて、MLLM の能力を体系的に分類する階層的フレームワーク（L₀ から L₄）を提示すること。
• GPT や人間の判断に依存しない、客観的でスケーラブルな評価ベンチマークを開発すること。推論段階で GPT や人間の評価を排除し、人間が検証済みの正解を用いる。
• 多様なマルチモーダル推論および生成タスクにおいて、23 個のオープンソース MLLM を包括的に評価し、現在のモデルに潜む主な限界を明らかにすること。

提案手法

• ベンチマークは3つの部分に構成される：パート1は L₁（画像およびテキスト理解）を評価、パート1と2は L₂（入れ違いの画像・テキスト理解）を評価、パート1と2と3は L₃（画像およびテキスト生成）を評価する。
• 選択肢付きの問題は、GPT-4 および ChatGPT を用いて自動生成され、画像のキャプション、インスタンスの記述、テキスト要素を抽出するための視覚的情報（BLIP2、Tag2Text、SAM、PaddleOCR）をガイドとして用いる。
• 3段階のフィルタリングパイプラインにより視覚的根拠（visual grounding）を確保する。LLM（Vicuna-7B、Flan-T5-XXL、LLaMA-7B）を用いて、画像なしで回答可能な問題を除外し、非視覚的問題を 5.52% 減少させる。
• 人間のアノテーターが全問題-回答ペアを検証し、正しい選択肢を選択し、次元を割り当て、曖昧・誤り・複数正解の問題は破棄する。
• 最終的なベンチマークには、人間が検証済みの正解を有する 24,371 問の問題が含まれ、推論段階での GPT や人間の評価を排除する客観性を確保する。
• 23 個のオープンソース MLLM を用いて評価を実施し、27 の次元および階層的レベル（L₁ から L₃）にわたり性能を報告する。

実験結果

リサーチクエスチョン

• RQ1 現在の MLLMs は、基本的な理解から複雑な画像およびテキスト生成に至るまで、マルチモーダル能力の階層的スケールにおいて、どのように性能を発揮しているか？
• RQ2 既存の MLLMs は、特に推論および視覚的理解タスクにおいて、入れ違いのマルチモーダル入力から正確な画像と整合性のあるテキストを生成できるか、どの程度の水準に達しているか？
• RQ3 GPT や人間の介入なしに、大規模かつ人間がアノテートしたベンチマークで評価された際、異なる MLLMs は、根拠のあるマルチモーダル出力をどの程度生成できるか？
• RQ4 現在の MLLMs は、複雑な推論および視覚的根拠タスクにおいて、マルチモーダルコンテンツを生成する際に、どのような主な限界を示しているか？

主な発見

• SEED-Bench-2 は、27 の次元および3つの階層的レベル（L₁ から L₃）にわたり、23 個のオープンソース MLLM を評価し、24,371 個の人的にアノテートされた選択肢付きの問題を含む、これまでで最大のベンチマークである。
• 最高のパフォーマンスを示したモデル、SEED-LLaMA（13B）は、L₃ の部分で 65.8 のスコアを達成し、マルチモーダル生成分野での進歩を示しているが、依然として人間の水準には遠く及ばない。
• L₃ の生成タスクにおいて、わずか 36.7% のモデルが 40% 以上のスコアを獲得しており、現在の MLLMs が入れ違いの入力から正確で整合性のある画像およびテキストを生成する能力に顕著な限界を示していることが判明した。
• 自動フィルタリングパイプラインにより、視覚的入力なしで回答可能な問題が 5.52% 削減され、ベンチマークに視覚的根拠のある問題のみが残った。
• SEED-Bench-2 はスケールと範囲において、先行するベンチマークを上回っており、MMBench より 8 倍多く、MME より 10 倍多い問題数を有しており、より強固で信頼性の高いモデル評価を可能にしている。
• ベンチマークは、現在の MLLMs が、生成タスクにおける複雑な推論および視覚的根拠のタスクで最も困難を抱えていることを明らかにし、AGI への研究ギャップを浮き彫りにしている。