[論文レビュー] MultiFusion: Fusing Pre-Trained Models for Multi-Lingual, Multi-Modal Image Generation

Marco Bellagente, Manuel Brack+12 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用数 6

ひとこと要約

MultiFusionは、事前学習済みの言語モデル、視覚モデル、埋め込みモデルを統合することで、複雑で入れ違いの多いテキストと画像のプロンプトによる画像生成を可能にする多言語・多モーダルな拡散モデルを導入する。アダプターやアテンション操作を用いて事前学習済みコンponentsを統合することで、多言語の微調整を必要とせず、学習に必要な計算量を元の学習から95%以上削減する。

ABSTRACT

The recent popularity of text-to-image diffusion models (DM) can largely be attributed to the intuitive interface they provide to users. The intended generation can be expressed in natural language, with the model producing faithful interpretations of text prompts. However, expressing complex or nuanced ideas in text alone can be difficult. To ease image generation, we propose MultiFusion that allows one to express complex and nuanced concepts with arbitrarily interleaved inputs of multiple modalities and languages. MutliFusion leverages pre-trained models and aligns them for integration into a cohesive system, thereby avoiding the need for extensive training from scratch. Our experimental results demonstrate the efficient transfer of capabilities from individual modules to the downstream model. Specifically, the fusion of all independent components allows the image generation module to utilize multilingual, interleaved multimodal inputs despite being trained solely on monomodal data in a single language.

研究の動機と目的

• 任意に混在する多モーダルかつ多言語の入力を通じて、表現的で複雑な画像生成を可能にすること。
• 多言語の微調整データを必要とせず、事前学習済み言語モデルの多言語能力を拡散モデルに転送すること。
• モジュラーで事前学習済みコンponentsを活用することで、多言語・多モーダルな拡散モデルの学習に必要な計算量を削減すること。
• 複合的理解の評価を目的としたベンチマークの開発。
• 多様な事前学習済みモデルを統合する柔軟でモジュラーなフレームワークの提供。

提案手法

• MultiFusionは、視覚および意味検索用に微調整されたアダプターを備えたデコーダー言語モデルをコアとして使用する。
• 視覚およびテキストエンコーダーは、アダプターとバイアスモジュールを介して統合され、拡散モデルにおけるクロスアテンションの条件付けを可能にする。
• クロスアテンション機構により、推論時にマルチモーダル入力を用いて言語モデルの埋め込みを拡散モデルに条件づける。
• 生成過程における視覚的およびテキスト的入力の影響を制御するために、アテンション操作技術が適用される。
• モデルはモノリンガルで英語のみのデータで学習され、多言語能力は言語モデルのエンコーダーの能力を活用して転送される。
• 複合的一般化の評価を目的とした新しいベンチマーク、MCC-250が導入される。

Figure 1 : MultiFusion architecture. We augment a Decoder Language Model (1.1.) with adapters, finetuned for multimodality (1.2) as well as biases (2.1), finetuned for semantic search. Next, we condition the diffusion model (1.3) through cross-attention (2.2) on embeddings produced by the LM. During

実験結果

リサーチクエスチョン

• RQ1 多モーダルまたは多言語の学習データを必要とせず、任意に混在するテキストと画像のプロンプトを使用して、拡散モデルが高品質な画像を生成できるか。
• RQ2 事前学習済み言語モデルの多言語能力が、下流の画像生成タスクにどの程度転送可能か。
• RQ3 アテンション操作は、画像生成過程における視覚的およびテキスト的入力の影響をどの程度効果的に制御できるか。
• RQ4 事前学習済みコンponentsをモジュラーかつアダプターベースで統合することで、エンドツーエンド学習モデルと同等の性能を達成しつつ、大幅に計算量を削減できるか。
• RQ5 複数のモダリティおよび言語を組み合わせた複合的プロンプトに対して、モデルの一般化性能はどの程度高いか。

主な発見

• MultiFusionは、英語のみで学習されたにもかかわらず、5ヶ国語で任意に混在するテキストと画像のプロンプトを用いて高精細な画像を生成することに成功した。
• モデルは、下流の言語モデルの多言語能力を活用することで、多言語画像生成を実現し、多言語微調整の必要性を排除した。
• アダプターとアテンション操作の活用により、生成過程における視覚的およびテキスト的入力の影響を正確に制御できるようになった。
• 同等の拡散モデルを元から学習する場合と比較して、学習に必要な計算量を95%以上削減した。
• MCC-250ベンチマークは、MultiFusionが複雑な多モーダルプロンプトに対して複合的一般化を示し、ベースラインモデルよりも複合的理解の面で優れた性能を発揮することを示した。
• 正確な画像の複製には限界があるが、モデルは入力画像をスタイル的または構造的リファレンスとして効果的に活用でき、入力画像の品質および構成に依存して性能が変化する傾向がある。

Figure 2 : The multimodality of MultiFusion proves more robust for image compositions. SD is prompted in text with ‘ A photorealistic image of { Descr. }’. MultiFusion prompts contain interleaved visual references. (Best viewed in color.)