[論文レビュー] A Survey on Multimodal Large Language Models

Shukang Yin, Chaoyou Fu+5 more|arXiv (Cornell University)|Jun 23, 2023

Topic Modeling被引用数 85

ひとこと要約

MLLMsの進展を整理・要約するサーベイで、M-IT、M-ICL、M-CoT、LAVRなどの中核技術を詳述し、課題と方向性を概説する。

ABSTRACT

Recently, Multimodal Large Language Model (MLLM) represented by GPT-4V has been a new rising research hotspot, which uses powerful Large Language Models (LLMs) as a brain to perform multimodal tasks. The surprising emergent capabilities of MLLM, such as writing stories based on images and OCR-free math reasoning, are rare in traditional multimodal methods, suggesting a potential path to artificial general intelligence. To this end, both academia and industry have endeavored to develop MLLMs that can compete with or even better than GPT-4V, pushing the limit of research at a surprising speed. In this paper, we aim to trace and summarize the recent progress of MLLMs. First of all, we present the basic formulation of MLLM and delineate its related concepts, including architecture, training strategy and data, as well as evaluation. Then, we introduce research topics about how MLLMs can be extended to support more granularity, modalities, languages, and scenarios. We continue with multimodal hallucination and extended techniques, including Multimodal ICL (M-ICL), Multimodal CoT (M-CoT), and LLM-Aided Visual Reasoning (LAVR). To conclude the paper, we discuss existing challenges and point out promising research directions. In light of the fact that the era of MLLM has only just begun, we will keep updating this survey and hope it can inspire more research. An associated GitHub link collecting the latest papers is available at https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models.

研究の動機と目的

• Multimodal Large Language Models (MLLMs) および関連概念を定義・形式化する。
• Multimodal Instruction Tuning (M-IT)、Multimodal In-Context Learning (M-ICL)、Multimodal Chain-of-Thought (M-CoT)、および LLM-Aided Visual Reasoning (LAVR) の4つの主要カテゴリーにわたるMLLMの総合的な分類を提供する。
• MLLMで用いられる主要な技術、データ戦略、ブリッジング手法、および評価手法を要約する。
• 分野の課題を強調し、有望な研究方向を提案する。

提案手法

• MLLMとその指示/対話パラダイムの形式的定式化を提示する。
• 既存の研究を4つのジャンル（M-IT、M-ICL、M-CoT、LAVR）に分類し、それらのアーキテクチャとデータ要件を検討する。
• データ収集手法（ベンチマーク適応、自己指示、ハイブリッド組成）とモダリティ間の橋渡し（学習可能なインターフェース vs. 専門モデル）を説明する。
• M-ITの整合性事前学習とマルチモーダルデータ構築を説明し、指示テンプレートと評価方法論を含む。
• M-CoTおよびLAVRにおける学習パラダイム（ファインチューニング、Few-shot、Zero-shot）と生成パターン（インフィリング vs. 予測）を要約し、評価フレームワーク（クローズドセット vs. オープンセット）を議論する。

Figure 1 : Comparisons of three typical learning paradigms. The image is from [ 16 ] .

実験結果

リサーチクエスチョン

• RQ1 LLMベースのシステムにおけるマルチモーダル推論を可能にする核となるパラダイムは何か？
• RQ2 データ構築とモダリティ橋渡しは、M-IT、M-ICL、M-CoT、LAVR におけるMLLMの性能をどのように形作るか？
• RQ3 マルチモーダル指示調整と視覚推論システムに適した評価戦略は何か？
• RQ4 より一般的な能力へ向けてMLLMを前進させる際の主要な課題と潜在的な方向性は何か？

主な発見

• MLLMは4つの主要な技術を活用する：Multimodal Instruction Tuning (M-IT)、Multimodal In-Context Learning (M-ICL)、Multimodal Chain-of-Thought (M-CoT)、および LLM-Aided Visual Reasoning (LAVR)。
• M-ITのデータ構築には、ベンチマーク適応、自己指示、ハイブリッド組成を含み、マルチモーダル指示データを作成する。
• モダリティ橋渡しは、学習可能なインターフェースまたは専門モデルを介して、視覚コンテンツをLLM向けのテキストへ翻訳することで実現される。
• 評価はクローズドセットとオープンセットのタスクを区別し、オープンエンドのマルチモーダルタスクには追加のベンチマークと人間/AIスコアリング手法を用いる。
• この調査は、スケーラビリティ、整合性、頑健性、マルチモーダル推論能力を含む、MLLMにおける複数の将来の方向性と継続的な課題を強調している。