[論文レビュー] A Survey on Benchmarks of Multimodal Large Language Models

Li Jian, Weisheng Lu+12 more|arXiv (Cornell University)|Aug 16, 2024

Topic Modeling被引用数 4

ひとこと要約

本サーベイは、マルチモodal Large Language Models (MLLMs) のための180のベンチマークを包括的に分析し、視認と理解、認知と推論、特定分野、主な能力、その他のモダリティの5つに分類している。2024年以降に83のベンチマークで最高のパフォーマンスを示したGPT-4とGeminiを特定し、評価を進めるための根幹的分野として扱う必要があると主張している。

ABSTRACT

Multimodal Large Language Models (MLLMs) are gaining increasing popularity in both academia and industry due to their remarkable performance in various applications such as visual question answering, visual perception, understanding, and reasoning. Over the past few years, significant efforts have been made to examine MLLMs from multiple perspectives. This paper presents a comprehensive review of 200 benchmarks and evaluations for MLLMs, focusing on (1)perception and understanding, (2)cognition and reasoning, (3)specific domains, (4)key capabilities, and (5)other modalities. Finally, we discuss the limitations of the current evaluation methods for MLLMs and explore promising future directions. Our key argument is that evaluation should be regarded as a crucial discipline to support the development of MLLMs better. For more details, please visit our GitHub repository: https://github.com/swordlidev/Evaluation-Multimodal-LLMs-Survey.

研究の動機と目的

• マルチモダリティ・ラージ・ランゲージ・モデル（MLLMs）を評価する180のベンチマークについて、包括的かつ体系的なレビューを提供すること。
• 評価ベンチマークを、視認と理解、認知と推論、特定分野、主な能力、その他のモダリティの5つの主要次元に沿って特定・分類すること。
• 2024年以降に発表された83のベンチマークにおいて、トップMMLM（例：GPT-4、Gemini）のパフォーマンスを分析し、トレンドとモデルの強みを明らかにすること。
• 現在の評価手法における限界を浮き彫りにし、評価をMLLM開発における中心的分野として推進することを提唱すること。
• 未開拓の分野を特定し、強固で信頼性が高く一般化可能な評価フレームワークを促進することで、今後の研究を導くこと。

提案手法

• 評価の焦点に基づき、5つの主要カテゴリに分類された180のMLLM評価ベンチマークの体系的収集と分類。
• タスクタイプ、データサイズ、モダリティ対応（画像、動画、音声、3次元など）、アノテーション形式、評価プロトコルを含むベンチマーク詳細のキュレーション。
• 2024年の83のベンチマークにおける上位3モデル（GPT-4、Gemini、GPT-4V）のパフォーマンス分析。精度やタスクカバレッジなどの指標を含む。
• 機能的スコープ（例：空間的推論、幻覚検出、医療画像）に応じてベンチマークを整理するための分類法の開発。これにより、ベンチマーク間の比較が可能になる。
• 3次元推論（M3DBench）、3次元グランドイング（ScanReason）、オムニモーダルタスク（MMT-Bench）など、新興のベンチマークを含め、進化する評価ニーズを反映。
• オープンエンドのベンチマーク（例：MQA、オープンエンドの質問）に対してGPTベースの評価を用い、モデル間の比較を標準化。

実験結果

リサーチクエスチョン

• RQ1 MLLMベンチマークにおける支配的評価カテゴリとサブタイプは何か。視認、推論、分野特化タスクの各分野にどのように分布しているか。
• RQ2 2024年以降に発表された83のベンチマークにおいて、トップパフォーマンスを示したMLLM（例：GPT-4、Gemini）のパフォーマンスはどのように比較されるか。
• RQ3 現在のMLLM評価手法における主な限界、特に耐性、公平性、現実世界への一般化性の観点での課題は何か。
• RQ4 3次元、音声、点群などの新興モダリティを対象としたベンチマークは、高度なMLLM能力の評価にどのように貢献しているか。
• RQ5 既存のベンチマークは、指示従い、幻覚を回避し、複数ターンの推論を行うといった、ユーザーが直に関与する能力をどの程度評価しているか。

主な発見

• GPT-4とGeminiは2024年以降に83のベンチマークで一貫して他のモデルを上回り、マルチモーダル推論と理解の分野で支配的であることが示された。
• 視認と理解のベンチマーク（例：VQA、画像キャプション）が最も多く見られる一方で、空間的推論や論理的推論などの認知と推論タスクは、複雑さを増している。
• 3次元環境（例：M3DBench、ScanReason）や空間的推論（例：SpatialRGPT）を対象としたベンチマークが登場し、MLLMが弱みを示している微細な空間的理解の評価が可能になっている。
• 幻覚や信頼性を評価したベンチマークはわずか15％にとどまり、モデルの信頼性と安全性を評価する上で深刻なギャップがあることが浮き彫りになった。
• MMT-BenchとMCUBベンチマークは、画像、音声、動画、点群の4モダリティの統合的推論を評価する方向へのシフトを示しており、包括的なマルチモーダル知能の評価へ向かう兆候である。
• ベンチマークの増加にもかかわらず、統一された評価フレームワークは存在せず、多くのベンチマークでアノテーション、評価指標、オープンアクセスの標準化が欠けている。