[論文レビュー] Generative Multimodal Models are In-Context Learners

Quan Sun, Yufeng Cui+9 more|arXiv (Cornell University)|Dec 20, 2023

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

この論文では、大規模なマルチモーダルシーケンス（テキスト、画像、動画）を統一的自己回帰的目的関数で学習した370億パラメータの生成型マルチモーダルモデル、Emu2を紹介する。視覚言語タスクにおける強力なコンテキスト内学習能力を示し、VQAベンチマークで最先端のFew-shot性能を達成するとともに、ゼロショットの視覚的プロンプティングおよび対象駆動型画像生成を可能にし、マルチモーダル理解と生成の汎用基盤モデルとしての地位を確立した。

ABSTRACT

The human ability to easily solve multimodal tasks in context (i.e., with only a few demonstrations or simple instructions), is what current multimodal systems have largely struggled to imitate. In this work, we demonstrate that the task-agnostic in-context learning capabilities of large multimodal models can be significantly enhanced by effective scaling-up. We introduce Emu2, a generative multimodal model with 37 billion parameters, trained on large-scale multimodal sequences with a unified autoregressive objective. Emu2 exhibits strong multimodal in-context learning abilities, even emerging to solve tasks that require on-the-fly reasoning, such as visual prompting and object-grounded generation. The model sets a new record on multiple multimodal understanding tasks in few-shot settings. When instruction-tuned to follow specific instructions, Emu2 further achieves new state-of-the-art on challenging tasks such as question answering benchmarks for large multimodal models and open-ended subject-driven generation. These achievements demonstrate that Emu2 can serve as a base model and general-purpose interface for a wide range of multimodal tasks. Code and models are publicly available to facilitate future research.

研究の動機と目的

• 大規模な生成型マルチモーダルモデルが、大規模言語モデルで観察されるようなコンテキスト内学習能力を示せるかどうかを調査すること。
• タスク固有のアーキテクチャや教師あり微調整の制限を克服し、多様なマルチモーダルタスクにおいてゼロショットまたはFew-shotの一般化を可能にすること。
• テキスト、画像、動画の両方の理解と生成をサポートする統一的かつスケーラブルなマルチモーダル基盤モデルの開発。
• 未学習のマルチモーダルタスクにおけるモデルの性能を、Few-shotおよびインstructチューニング設定下で評価すること。
• こうした強力な生成型モデルの社会的影響を分析し、責任ある展開を提言すること。

提案手法

• マルチモーダル要素（テキストトークンまたは視覚的埋め込み）の次に来ることを予測する統一的自己回帰的目的関数でEmu2を学習する。
• 3部構成のアーキテクチャを採用：視覚エンコーダー（EVA-02-CLIP-E-plus）、マルチモーダルモデリングヘッド（LLaMA-33B）、視覚デコーダー（SDXL）。
• 入力画像を8×8のパッチにトークン化し、平均プーリングを経てマルチモーダルシーケンスに投影し、自己回帰的モデリングに使用する。
• LAION-2B、WebVid-10M、MMC4、YT-Storyboard-1B、GRIT-20Mなど多様なデータセットで事前学習することで、広範なマルチモーダル理解を可能にする。
• 会話的および指示従いのデータを用いたインstructチューニングにより、ゼロショットおよびFew-shot性能を向上させる。
• 分類器フリー・ガイドランス（スケール=3.0）とEulerDiscreteSchedulerを用いた拡散ベース生成により、画像および動画生成タスクを実行する。

Figure 1 : Emu2 is a large generative multimodal model that serves as a foundation and a general-purpose interface for a broad range of multimodal tasks across understanding and generation, with remarkable in-context learning abilities.

実験結果

リサーチクエスチョン

• RQ1 大規模な生成型マルチモーダルモデルは、タスク固有の微調整なしに、コンテキスト内学習によって多様なマルチモーダルタスクを学習できるか？
• RQ2 モデルスケールの拡大が、視覚的プロンプティングのような推論を要するタスクにおいて、マルチモーダル設定におけるコンテキスト内学習能力をどのように向上させるか？
• RQ3 統一的自己回帰的目的関数が、テキスト、画像、動画の両方の理解と生成を統合的に可能にする程度はどの程度か？
• RQ4 インstructチューニングは、マルチモーダル生成および質問応答タスクにおける複雑な指示の従い能力をさらに向上させられるか？
• RQ5 こうした強力なコンテキスト内学習モデルは、実世界の展開においてどのような制限とリスクを有するか？

主な発見

• Emu2は、VQAv2、VizWiz、GQA、OKVQAなど複数の視覚言語ベンチマークで、タスク固有の微調整なしに最先端のFew-shot性能を達成し、強力なコンテキスト内学習能力を示した。
• ゼロショットまたはFew-shot設定でも、視覚的プロンプティングやオブジェクトに基づく画像生成といった、顕著な推論能力が発現した。
• インstructチューニングを経て、Emu2は従来のモデルを上回り、より単純なアーキテクチャであるにもかかわらず、視覚的質問応答ベンチマークで新たなSOTA結果を達成した。
• テキスト、画像、レイアウトの混合入力を用いた高品質な制御可能な視覚的生成が可能であり、DreamBenchの評価結果では人間の好みと強い整合性を示した。
• コンテキストウィンドウサイズの拡大に伴い性能が向上し、コンテキスト内学習がスケーラブルでデータ効率的であることが示された。
• 未学習のタスク、特にオープンエンドの画像および動画生成に対しても強力な一般化能力を示し、GPT-4による評価で高品質な出力を得た。

Figure 2 : Overview of Emu2 architecture. Emu2 learns with a predict-the-next-element objective in multimodality. Each image in the multimodal sequence is tokenized into embeddings via a visual encoder, and then interleaved with text tokens for autoregressive modeling. The regressed visual embedding