[論文レビュー] A Survey of Multimodal Large Language Model from A Data-centric Perspective

Tianyi Bai, Hao Liang+13 more|arXiv (Cornell University)|May 26, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本調査は、視覚、音声、テキスト、動画の複数モダリティにわたり、データ収集、データ整備、品質、評価に焦点を当てた包括的なデータ中心の分析を提示する。反復的データ改善——データ量の増加、品質の向上、構造の最適化——が、MLLMの性能を顕著に向上させることを示唆し、モデルアーキテクチャ最適化を超えたデータセット開発およびベンチマーク手法の体系的フレームワークを提供する。

ABSTRACT

Multimodal large language models (MLLMs) enhance the capabilities of standard large language models by integrating and processing data from multiple modalities, including text, vision, audio, video, and 3D environments. Data plays a pivotal role in the development and refinement of these models. In this survey, we comprehensively review the literature on MLLMs from a data-centric perspective. Specifically, we explore methods for preparing multimodal data during the pretraining and adaptation phases of MLLMs. Additionally, we analyze the evaluation methods for the datasets and review the benchmarks for evaluating MLLMs. Our survey also outlines potential future research directions. This work aims to provide researchers with a detailed understanding of the data-driven aspects of MLLMs, fostering further exploration and innovation in this field.

研究の動機と目的

• MLLMにおけるデータ中心の手法について、モデルアーキテクチャの改善を超えて包括的な研究が不足していることに対処する。
• 事前学習および適応段階における、データ特性（量、品質、モダリティの多様性）がMLLMの性能に与える影響を調査する。
• 視覚、音声、テキスト、動画モダリティにわたる、既存のマルチモーダルデータセットおよび評価ベンチマークの体系的レビューを提供する。
• MLLMにおけるデータ整備、データ管理、および耐障害性評価における未解決の課題を特定し、今後の研究方向性を提案する。
• モデル中心のチューニングではなく、反復的データ精錬を重視することで、MLLMにおけるデータ駆動型イノベーションの基盤を構築する。

提案手法

• テキスト、視覚、音声、動画、3D環境の5つのモダリティにわたり、マルチモーダルデータセットを体系的に分類・レビューする。
• 事前学習およびファインチューニング段階におけるデータ収集、選定、アノテーション、前処理戦略を含む、MLLMのデータ準備パイプラインを分析する。
• アノテーションの一貫性、モダリティの整合性、言語の多様性といった指標を通じて、データ品質を評価する。
• VQA、VCR、Charades-STA、QVHighlight、AudioCaps、Clotho、ClothoAQAといったタスク固有のデータセットを含む、MLLMのベンチマークフレームワークをレビューする。
• データ量の拡大、データ品質の向上、モダリティ整合性の向上を図る反復的データ改善を重視するデータ中心のフレームワークを提案する。
• データ中心のAI（DCAI）の知見を統合し、データをモデル性能の主因とするように、データセット設計および評価を支援する。

実験結果

リサーチクエスチョン

• RQ1 異なるモダリティにわたり、マルチモーダルデータを効果的に収集・選定・管理する方法は何か？ これによりMLLMの学習がどのように支援されるか？
• RQ2 データ品質、データ量、モダリティ整合性が、さまざまなタスクやアーキテクチャにおいてMLLMの性能に与える影響は何か？
• RQ3 既存の評価ベンチマークは、現実世界のマルチモーダル理解および推論能力をよりよく反映するようにどのように改善できるか？
• RQ4 MLLM向けに高品質で多様性に富み、スケーラブルなマルチモーダルデータセットを整備・維持する上で直面する主な課題は何か？
• RQ5 現在のモデル中心のパラダイムを超えて、MLLMのデータ中心開発を進めるために必要な今後の研究方向性は何か？

主な発見

• データ品質はデータ量と同等に重要であり、適切に整備されたデータセットがあれば、小さなモデルでも大きなモデルの性能に匹敵する可能性がある。
• Charades-STAデータセットは、時間的アクティビティロケーションに適した複雑で長い形式の言語クエリをサポートしており、学習用に13,898、テスト用に4,233のクリップ-文ペアが含まれる。
• QVHighlightデータセットは、10,000以上のYouTube動画に、関連するモーメントのアノテーションとサリエンシー評価スコアが付与されており、ハイライト検出およびモーメントロケーションを可能にする。
• AudioCapsには46,000組の音声-キャプションペアが含まれるが、Clothoは4,981個の音声サンプルと24,905個のキャプションを提供し、一般的な音声キャプション作成および記述タスクを支援する。
• ClothoAQAは1,991個の音声ファイルと11,946件のクラウドソーシングによる質問（yes/noおよび単語回答を含む）を提供し、音声質問応答の評価を可能にする。
• Audio-MusicAVQAは、9,000以上の音楽パフォーマンス動画から得た45,000組以上のQAペアを含み、9種類の質問タイプと33種類のテンプレートを備えており、音声・視覚シーンにおける時空間的推論を支援する。