[論文レビュー] MM-BigBench: Evaluating Multimodal Models on Multimodal Content Comprehension Tasks

Xiaocui Yang, Wenfang Wu+8 more|arXiv (Cornell University)|Oct 13, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿は、マルチモーダルコンテンツ理解タスクに特化した、マルチモーダル大規模言語モデル（MLLM）の包括的評価フレームワークであるMM-BigBenchを紹介する。14のデータセットおよび6つのタスクをカバーする中で、モデルおよび指示のパフォーマンスを評価するための新規指標（最高パフォーマンス、平均相対的増加、安定性、適応性）を提案し、InstructBLIPとBLIP-2が最高のパフォーマンスを示す一方で、指示設計がモデルの感受性および適応性に顕著な影響を及ぼすことが明らかになった。

ABSTRACT

The popularity of multimodal large language models (MLLMs) has triggered a recent surge in research efforts dedicated to evaluating these models. Nevertheless, existing evaluation studies of MLLMs primarily focus on the comprehension and reasoning of unimodal (vision) content, neglecting performance evaluations in the domain of multimodal (vision-language) content understanding. Beyond multimodal reasoning, tasks related to multimodal content comprehension necessitate a profound understanding of multimodal contexts, achieved through the multimodal interaction to obtain a final answer. In this paper, we introduce a comprehensive assessment framework called MM-BigBench, which incorporates a diverse range of metrics to offer an extensive evaluation of the performance of various models and instructions across a wide spectrum of diverse multimodal content comprehension tasks. Consequently, our work complements research on the performance of MLLMs in multimodal comprehension tasks, achieving a more comprehensive and holistic evaluation of MLLMs. To begin, we employ the Best Performance metric to ascertain each model's performance upper bound on different datasets. Subsequently, the Mean Relative Gain metric offers an assessment of the overall performance of various models and instructions, while the Stability metric measures their sensitivity. Furthermore, previous research centers on evaluating models independently or solely assessing instructions, neglecting the adaptability between models and instructions. We propose the Adaptability metric to quantify the adaptability between models and instructions. Our paper evaluates a total of 20 language models (14 MLLMs) on 14 multimodal datasets spanning 6 tasks, with 10 instructions for each task, and derives novel insights. Our code will be released at https://github.com/declare-lab/MM-BigBench.

研究の動機と目的

• 従来の視覚言語推論をはるかに超えるマルチモーダルコンテンツ理解タスクにおけるMLLMの評価のギャップを埋めるため。
• 多様なマルチモーダルタスクにわたるモデルおよび指示のパフォーマンスを捉える統一された評価フレームワークを構築するため。
• 先行評価で無視されてきた、モデルと指示の間の適応性を定量的に測定するため。
• 14のマルチモーダルデータセット（6つのタスク）をカバーする20のモデル（14のMLLM）におけるベンチマーク結果を提供するため。
• 微細なセンチメントおよび関係分類タスクにおけるモデル感受性、安定性、および指示効果性に関する洞察を提供するため。

提案手法

• マルチモーダルコンテンツ理解タスクにおけるMLLMパフォーマンスを評価するための包括的フレームワークMM-BigBenchを提案し、複数の指標を統合する。
• 各データセットにおけるモデルの上限パフォーマンスを特定するための「最高パフォーマンス」指標を導入する。
• 全タスクにわたるモデルおよび指示のパフォーマンスを評価するための「平均相対的増加」を用い、ベースラインからの相対的改善度を測定する。
• 指示の変化に対するモデル感受性を定量化するための「安定性」指標を用い、低い値がより高い耐性を示す。
• 特定のモデルと特定の指示のペアがどれだけパフォーマンス向上を達成できるかを測定する「適応性」指標を導入する。
• 14のデータセットおよび10の指示（各タスクごと）を用い、14のMLLMおよび20のモデルを評価し、6つの異なるマルチモーダル理解タスクをカバーする。

実験結果

リサーチクエスチョン

• RQ1 標準的VQAをはるかに超える多様なマルチモーダルコンテンツ理解タスクにおいて、異なるMLLMはどのようにパフォーマンスを発揮するか？
• RQ2 指示設計がモデルパフォーマンスに与える影響は何か？ また、どの指示が最も一貫性のある結果をもたらすか？
• RQ3 MLLMは異なる指示に対してどれほど安定しているか？ また、どのモデルが指示の変化に対して最も感受性が低いか？
• RQ4 モデルと指示のペアはどれほどパフォーマンス最大化のために適応可能か？ どの組み合わせが最も効果的か？
• RQ5 MOSI-2とMOSI-7のような粗粒度と微粒度の分類タスクにおいて、パフォーマンスのトレンドはどのように異なるか？

主な発見

• InstructBLIPとBLIP-2は、テキスト文脈を伴うVQAタスクで、それぞれ143.86および148.67の平均相対的増加を示し、全体的なパフォーマンスが優れていることが示された。
• ChatGPTはMOSI-2およびMOSI-7データセットで最高の個別パフォーマンスを示したが、感受性が高く、MOSI-7では2.17の安定性スコアを示し、指示の変更に伴うパフォーマンスの不安定さが顕著であった。
• 『選択肢付きの質問・回答形式』を採用した指示#2が、MOSI-7での平均相対的増加56.91を記録し、多数のデータセットで最高のパフォーマンスを示した。
• 『適応性』指標は、モデルと指示のペアリングがパフォーマンスに顕著な影響を及ぼすことを示し、InstructBLIPは特定の指示に対して高い適応性を示した。
• Flan-T5-XXLはMOSI-2で0.73の高い安定性を示し、指示の変更に対しても一貫したパフォーマンスを発揮し、耐性面でChatGPTを上回った。
• 微粒度のデータセット（例：MOSI-7、MOSEI-7）では、安定性スコアが3.0を超えるなど、パフォーマンスの変動が顕著で、指示およびモデル選択に大きな感受性が見られた。