[論文レビュー] UPainting: Unified Text-to-Image Diffusion Generation with Cross-modal Guidance

Wei Li, Xue Xu+9 more|arXiv (Cornell University)|Oct 28, 2022

Multimodal Machine Learning Applications被引用数 11

ひとこと要約

UPaintingは、事前学習されたトランスフォーマー言語モデルによる自然言語理解と、事前学習された画像・テキストマッチングモデルからのクロスモーダルガイダンスを組み合わせることで、生成の忠実度と整合性を向上させる統合的テキスト-to-画像拡散モデルを提案する。この手法は、単純なシーンと複雑なシーンの両方の生成において最先端の性能を達成し、Stable Diffusion や Disco Diffusion よりも画像・テキストの整合性と忠実度が優れている。

ABSTRACT

Diffusion generative models have recently greatly improved the power of text-conditioned image generation. Existing image generation models mainly include text conditional diffusion model and cross-modal guided diffusion model, which are good at small scene image generation and complex scene image generation respectively. In this work, we propose a simple yet effective approach, namely UPainting, to unify simple and complex scene image generation, as shown in Figure 1. Based on architecture improvements and diverse guidance schedules, UPainting effectively integrates cross-modal guidance from a pretrained image-text matching model into a text conditional diffusion model that utilizes a pretrained Transformer language model as the text encoder. Our key findings is that combining the power of large-scale Transformer language model in understanding language and image-text matching model in capturing cross-modal semantics and style, is effective to improve sample fidelity and image-text alignment of image generation. In this way, UPainting has a more general image generation capability, which can generate images of both simple and complex scenes more effectively. To comprehensively compare text-to-image models, we further create a more general benchmark, UniBench, with well-written Chinese and English prompts in both simple and complex scenes. We compare UPainting with recent models and find that UPainting greatly outperforms other models in terms of caption similarity and image fidelity in both simple and complex scenes. UPainting project page \url{https://upainting.github.io/}.

研究の動機と目的

• 単純なシーンと複雑なシーンの両方を従来の別個のモデルで処理するのではなく、統合的なテキスト-to-画像生成を実現すること。
• 事前学習された画像・テキストマッチングモデルからのクロスモーダル意味とスタイルを統合することで、画像生成品質を向上させること。
• 抽象的で芸術的、かつ複雑なプロンプト記述を捉えきれない、単純なテキストエンコーダーの限界を是正すること。
• 多様なプロンプトにわたる一般化されたテキスト-to-画像生成の評価のための包括的ベンチマークを構築すること。
• 大規模言語モデルとクロスモーダルマッチングモデルを統合することで、生成能力が著しく向上することを示すこと。

提案手法

• UPaintingは、自然言語プロンプトを意味的表現に埋め込むために、事前学習されたトランスフォーマー言語モデルをテキストエンコーダーとして使用する。
• 拡散プロセス中に勾配ベース最適化を介して、事前学習された画像・テキストマッチングモデル（例：CLIP）からのクロスモーダルガイダンスを統合する。
• ノイズ除去の過程で、テキストの意味と画像・テキスト整合性のバランスを取るために、多様なガイダンススケジュールを適用する。
• テキスト条件付き拡散フレームワークにクロスモーダルガイダンスを効果的に統合するためのアーキテクチャの改善を導入する。
• 拡散モデルは、テキスト埋め込みとクロスモーダルガイダンス信号の両方を条件として用い、意味的整合性と視覚的忠実度の共同最適化を可能にする。
• 新規なトレーニング戦略により、整合性と詳細の向上を図った統合生成パイプラインのエンドツーエンド学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 統合的拡散モデルは、忠実度と整合性の両面で、単純なシーンと複雑なシーンの両方の画像を効果的に生成できるか？
• RQ2 大規模言語モデルとクロスモーダルマッチングモデルを統合することで、テキスト-to-画像生成がどのように向上するか？
• RQ3 クロスモーダルガイダンスは、複雑なシーン生成における画像品質とプロンプト準拠性にどのような影響を与えるか？
• RQ4 1つのモデルが、単純なシーンと複雑なシーンのための特化型モデルを上回ることができるか？
• RQ5 COCO や DrawBench といった既存のベンチマークと比較して、提案手法は一般化能力とロバスト性において優れているか？

主な発見

• UPaintingはCOCOデータセット上で8.34のFréchet Inception Distance（FID）スコアを達成し、Stable Diffusion（14.24）を著しく上回った。
• 人間による評価では、複雑なシーンプロンプトにおいても、UPaintingはStable Diffusionよりも画像・テキストの整合性と画像忠実度が高く評価された。
• 新規に構築されたUniBenchベンチマークを用いた検証により、UPaintingは単純なシーンと複雑なシーンの両方の生成で優れた性能を示した。
• 事前学習された言語モデルとクロスモーダルマッチングモデルの統合により、サンプルの忠実度が向上し、抽象的・芸術的・複雑なプロンプトとの整合性も向上した。
• UniBenchにおけるすべての評価指標（キャプション類似度や美的質など）において、UPaintingはDisco Diffusion や Stable Diffusion といった強力なベースラインを上回った。
• アブレーションスタディにより、特に言語のニュアンスが重要な複雑なシーンでは、クロスモーダルガイダンスが生成品質を向上させる上で不可欠であることが確認された。