[論文レビュー] Large Multimodal Models: Notes on CVPR 2023 Tutorial

Chunyuan Li|arXiv (Cornell University)|Jun 26, 2023

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

この論文は、CVPR 2023での大規模マルチモodalモデル（LMM）に関するチュートリアルを要約し、視覚言語事前学習とインstructチューニングを用いて、LLaVA や MiniGPT-4 のようなオープンソースでインstructチューニングされた LMM の構築フレームワークを提示している。実証により、オープンソース LMM がマルチモーダル推論および視覚的チャットタスクにおいて強力な性能を発揮できることを示しており、複雑な推論とスケーラビリティにおいては OpenAI のマルチモーダル GPT-4 に迫っているが、まだそれを上回ることはできていない。

ABSTRACT

This tutorial note summarizes the presentation on ``Large Multimodal Models: Towards Building and Surpassing Multimodal GPT-4'', a part of CVPR 2023 tutorial on ``Recent Advances in Vision Foundation Models''. The tutorial consists of three parts. We first introduce the background on recent GPT-like large models for vision-and-language modeling to motivate the research in instruction-tuned large multimodal models (LMMs). As a pre-requisite, we describe the basics of instruction-tuning in large language models, which is further extended to the multimodal space. Lastly, we illustrate how to build the minimum prototype of multimodal GPT-4 like models with the open-source resource, and review the recently emerged topics.

研究の動機と目的

• この分野に馴染みのない研究者や学生向けに、大規模マルチモーダルモデル（LMM）について包括的で理解しやすい概要を提供すること。
• GPT-4 の成功にインspされたように、インストラクションチューニングがマルチモーダルチャット機能を可能にする基盤的役割を説明すること。
• LLaVA や視覚言語データセットなどのオープンソースコンポONENTを用いて、マルチモーダル GPT-4 に類似したモデルの最小限のプロトタイプを構築する方法を示すこと。
• マルチモーダル拡張、コンテキスト内学習、パラメータ効率の良い微調整、分野特化型応用を含む、LMM の最近の進展を調査すること。
• プロプライエタリモデル（例：OpenAI のマルチモーダル GPT-4）と比較して、現在のオープンソース LMM の状態を評価し、ギャップと機会を特定すること。

提案手法

• 大規模言語モデル（LLM）からのインストラクションチューニング技術をマルチモーダルな設定に適応させ、モデルが自然言語の指示に従えるようにする。
• 2段階の訓練プロトコルを採用：まず画像キャプションペアを用いて視覚的および言語的表現をアライメントさせ、次に GPT-4 のような LLM を用いてインストラクション従いデータで微調整する。
• 視覚エンコーダ（例：CLIP や ViT）を用いて視覚特徴を抽出し、固定された LLM（例：LLaMA）を用いてテキストを生成し、学習可能なプロジェクションモジュールで接続する。
• 自己インストラクション手法を活用し、キャプションから高品質なインストラクション従いデータを生成することで、LMM の効率的微調整を可能にする。
• カリキュラム学習を適用し、段階的に指示データの複雑さを増やすことで、生体医薬分野における LMM のゼロショット一般化および推論性能を向上させる。
• オープンソースデータセット（例：PubMed Central）を活用し、生体医薬分野向けの視覚言語事前学習を実施し、LLaVA をドメイン特化データで微調整して LLaVA-Med を作成する。

Figure 1 : Visual chat with LMM. Generated by LLaVA: https://llava-vl.github.io/

実験結果

リサーチクエスチョン

• RQ1 インストラクションチューニングは、テキスト中心の LLM から視覚的推論および対話に適応させるマルチモーダルモデルへ、どのように効果的に拡張できるか？
• RQ2 機能的でオープンソースなマルチモーダル GPT-4 に類似したモデルを構築するために、最小限のアーキテクチャと訓練プロトコルは何か？
• RQ3 オープンソース LMM は、プロプライエタリモデル（例：OpenAI の GPT-4）の推論およびマルチモーダル理解能力に、どの程度まで近づけるか？
• RQ4 限られたデータと計算リソースで、分野特化型 LMM をどのように効率的に訓練できるか？また、特化したタスクで高いパフォーマンスを維持できるか？
• RQ5 視覚言語タスクを超えて、スケーリング、評価、展開における LMM の主な新興トレンドと課題は何か？

主な発見

• LLaVA や MiniGPT-4 のようなオープンソース LMM は、視覚的質問応答および画像キャプション生成において GPT-4 の多くの機能を再現できており、強力なゼロショット一般化を示している。
• LLaVA-Med は、生体医薬分野のデータで微調整された LLaVA のバージョンであり、病理画像に関する開かれた質問に対して正確で知識に基づいた回答を提示でき、一般ドメインの LLaVA を上回る性能を示している。
• GPT-4 を用いてキャプションから自己インストラクションによるインストラクション従いデータを生成することで、高品質で多様なインストラクション例を効率的に得られ、LMM の微調整が促進された。
• 進展は見られるものの、高解像度画像の理解や長文の文脈推論を要する複雑な視覚的推論タスクでは、GPT-4 よりもオープンソースモデルがまだ劣っている。
• マルチモーダルコンテキスト内学習、パラメータ効率の良い微調整、マルチモーダルベンチマークといった新興分野が、強固でスケーラブルな LMM の開発を加速させている。
• PathAsst や PMC-VQA のような分野特化型 LMM は、医療分野のような機微な分野において、一般モデルよりも効果的かつプライバシー保護に配慮したアプローチを可能にしている。

Figure 2 : The focus of this note on large multimodal models, in the context of overall CVPR 2023 Tutorial on Recent Advances in Vision Foundation Models .