[論文レビュー] Mastering Text-to-Image Diffusion: Recaptioning, Planning, and Generating with Multimodal LLMs

Ling Yang, Zhaochen Yu+4 more|arXiv (Cornell University)|Jan 22, 2024

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文は、マルチモーダルLLMを活用して構成的生成を向上させる、トレーニング不要のテキスト-to-画像拡散フレームワークであるRPG（Recaption, Plan, and Generate）を提案する。MMLMを用いてプロンプトを再要約し、領域ごとの画像構成を計画し、補完的領域拡散を可能にすることで、DALL-E 3 や SDXL などのSOTAモデルを上回り、複雑なプロンプトの整合性と複数オブジェクトの構成的生成において優れた性能を発揮する。

ABSTRACT

Diffusion models have exhibit exceptional performance in text-to-image generation and editing. However, existing methods often face challenges when handling complex text prompts that involve multiple objects with multiple attributes and relationships. In this paper, we propose a brand new training-free text-to-image generation/editing framework, namely Recaption, Plan and Generate (RPG), harnessing the powerful chain-of-thought reasoning ability of multimodal LLMs to enhance the compositionality of text-to-image diffusion models. Our approach employs the MLLM as a global planner to decompose the process of generating complex images into multiple simpler generation tasks within subregions. We propose complementary regional diffusion to enable region-wise compositional generation. Furthermore, we integrate text-guided image generation and editing within the proposed RPG in a closed-loop fashion, thereby enhancing generalization ability. Extensive experiments demonstrate our RPG outperforms state-of-the-art text-to-image diffusion models, including DALL-E 3 and SDXL, particularly in multi-category object composition and text-image semantic alignment. Notably, our RPG framework exhibits wide compatibility with various MLLM architectures (e.g., MiniGPT-4) and diffusion backbones (e.g., ControlNet). Our code is available at: https://github.com/YangLing0818/RPG-DiffusionMaster

研究の動機と目的

• 複数のオブジェクト、属性、関係を含む複雑なテキストプロンプトから正確に構成的で複雑な画像を生成する課題に対処すること。
• レイアウトベースやフィードバックベースの手法が提供する粗い空間的制御や、高コストなトレーニング・フィードバック収集を必要とするという既存手法の限界を克服すること。
• マルチモーダルLLMの推論および計画能力を活用して、トレーニング不要で制御可能かつ構成的な画像生成を実現すること。
• 閉ループシステムとしてテキストガイドド画像生成と編集を統合し、多様なプロンプトにおける意味的整合性と一般化性能を向上させること。
• さまざまなMLLMアーキテクチャ（例：MiniGPT-4）および拡散バックボーン（例：ControlNet、Stable Diffusion XL）との広範な互換性を確保すること。

提案手法

• マルチモーダルLLMを用いたマルチモーダル再要約：曖昧または複雑なプロンプトを意味的に豊富な部分プロンプトに変換し、プロンプト理解を向上させる。
• MLLMによる思考の連鎖による計画：画像生成タスクを部分領域に分解し、各領域に固有の部分プロンプトを割り当てて構造的な構成を実現する。
• 補完的領域拡散の設計：重複しない部分領域内で、領域固有の部分プロンプトを用いて画像コンテンツを独立して生成することで、空間的精度と構成的制御性を向上させる。
• MLLMベースの画像キャプションを用いた閉ループフィードバックメカニズムの統合：生成画像とターゲット画像の間の意味的乖離を検出することで、反復的改善を可能にする。
• MLLMベースの推論を用いて、領域分割および部分プロンプト割り当ての詳細な根拠と正確な指示を生成し、計画の正確性を向上させる。
• 計画段階と生成段階を分離することで、さまざまな拡散バックボーン（例：ControlNet）およびMLLMアーキテクチャ（例：MiniGPT-4）との互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルLLMは、複雑なテキストプロンプトを意味的に整合性があり、領域に特化した部分プロンプトに効果的に分解できるか？
• RQ2 MLLMにおける思考の連鎖による推論は、テキスト-to-画像生成における空間的レイアウトおよび部分領域割り当ての計画をどのように向上させるか？
• RQ3 補完的領域拡散は、複数の重なり合うまたは相互作用するオブジェクトや属性を有する画像生成において、グローバル拡散を上回る性能を発揮できるか？
• RQ4 再要約とフィードバックの閉ループ統合は、テキストプロンプトと生成画像の間の意味的整合性をどの程度向上させるか？
• RQ5 RPGフレームワークは、ファインチューニングを必要とせず、さまざまなMLLMアーキテクチャおよび拡散モデルバックボーンに一般化可能か？

主な発見

• RPGは、DALL-E 3 や SDXL などのSOTAモデルを上回り、特に複数カテゴリのオブジェクトの構成的生成において、複雑で構成的なプロンプトを正確に反映する画像生成において優れた性能を発揮する。
• ベンチマークデータセットにおける構成的正確性とプロンプト準拠性の測定により、テキストと画像の意味的整合性が著しく向上していることが裏付けられている。
• 補完的領域拡散により、画像生成における正確な局所的制御が可能となり、ベースラインの拡散モデルで一般的に見られる空間的誤差やオブジェクトの重なり問題が顕著に低減される。
• 閉ループによる再要約とフィードバックメカニズムは、生成画像と入力プロンプトの間の意味的乖離を効果的に特定・是正し、最終的な画像品質を向上させる。
• RPGは、さまざまなMLLMアーキテクチャ（例：MiniGPT-4）および拡散バックボーン（例：ControlNet）と強い互換性を示し、異なるモデルへの柔軟な展開を可能にする。
• 本手法はトレーニング不要であり、完全に推論時のみで動作するため、ファインチューニングやレーティングモデルの事前学習を必要とせず、計算コストおよびデータのオーバーヘッドを低減する。