[論文レビュー] MiniGPT-5: Interleaved Vision-and-Language Generation via Generative Vokens

Kaizhi Zheng, Xuehai He+1 more|arXiv (Cornell University)|Oct 3, 2023

Multimodal Machine Learning Applications被引用数 16

ひとこと要約

MiniGPT-5 は generative vokens を導入し、LLMs と Stable Diffusion を橋渡しして視覚と言語の生成を交互に行い、2段階の説明不要トレーニングと classifier-free ガイダンスを用いて多モーダル出力を改善します。CC3M で最先端の結果を示し、VIST と MMDialog でも強力な性能を発揮します。

ABSTRACT

The effectiveness of Multimodal Large Language Models (MLLMs) demonstrates a profound capability in multimodal understanding. However, the simultaneous generation of images with coherent texts is still underdeveloped. Addressing this, we introduce a novel interleaved vision-and-language generation method, centered around the concept of ``generative vokens". These vokens serve as pivotal elements contributing to coherent image-text outputs. Our method is marked by a unique two-stage training strategy for description-free multimodal generation, which does not necessitate extensive descriptions of images. We integrate classifier-free guidance to enhance the alignment of generated images and texts, ensuring more seamless and contextually relevant multimodal interactions. Our model, MiniGPT-5, exhibits substantial improvement over the baseline models on multimodal generation datasets, including MMDialog and VIST. The human evaluation shows MiniGPT-5 is better than the baseline model on more than 56\% cases for multimodal generation, highlighting its efficacy across diverse benchmarks.

研究の動機と目的

• LLMs とテキスト・ツー・イメージモデルを橋渡しする generative vokens を導入して、視覚と言語の交互生成を前進させる。
• 限られた画像説明しかない状況で、マルチモーダル特徴を整合させる2段階の説明不要トレーニング戦略を開発する。
• classifier-free ガイダンスとパラメータ効率の良い微調整によって生成品質を向上させる。
• CC3M、VIST、MMDialog データセット全体で強力なマルチモーダル生成性能を示す。

提案手法

• LLM の語彙に special tokens として generative vokens を導入し、画像生成のための視覚特徴を出力させる。
• voken 特徴を潜在拡散モデルの条件特徴空間に変換するため、MLP と encoder-decoder Transformer からなるマッピングモジュールを使用する。
• 2段階戦略で訓練する：CC3M での unimodal alignment (UAS) と VIST/MMDialog での multimodal learning stage (MLS)。
• 拡散ベースの画像生成時に classifier-free guidance を適用して条件的一貫性を高める。
• 事前学習重みを保持しつつ、PEFT (LoRA/prefix) を用いて効率的に LLM を微調整する。
• LDM loss と text-space loss を含む2段階のロスフレームワークと、CC3M のキャプション整合性のための補助 CAP loss を活用する。

実験結果

リサーチクエスチョン

• RQ1 生成 vokens は単一モードのマルチモーダルモデル内でテキストと画像の一貫した交互生成を可能にするか？
• RQ2 説明不要の2段階トレーニング戦略は、エンドツーエンド訓練と比較して視覚と言語の整合性を向上させるか？
• RQ3 classifier-free ガイダンスと PEFT が VIST や MMDialog のようなデータセットでマルチモーダル出力の質に与える影響は？
• RQ4 MiniGPT-5 は CC3M、VIST、MMDialog の単回・多回設定で GILL や Divter と比較してどうか？

主な発見

• MiniGPT-5 は VIST の単一ステップ生成において、プロンプト種别を問わずファインチューニング済み Stable Diffusion 2 を上回る。
• LoRA を用いた MiniGPT-5 は、VIST の全ステップ評価において CLIP-I スコアが一貫して高く、IS およびコヒーレンス (FID) も競争力が高い。
• 人間評価では、2段階ベースラインと比べて、言語の連続性・画像品質・マルチモーダルコヒーレンスの面で、MiniGPT-5 がより良い、あるいは同等程度の結果を示すケースが多い。
• MMDialog では MiniGPT-5 が Divter よりもテキストの正確さと MM-Relevance で優れており、画像品質は同等。
• アブレーション研究は CAP loss と CFG が画像品質にプラスの影響を与え、CFG は拡散のデノイズ性能を向上させることを示す。
• CC3M Unimodal Alignment で MiniGPT-5 はすべての報告指標で GILL を上回り、Stable Diffusion とのビジョン・モーダル整合が効果的であることを示す。