[論文レビュー] Prompt-Free Diffusion: Taking "Text" out of Text-to-Image Diffusion Models

Xingqian Xu, Jiayi Guo+4 more|arXiv (Cornell University)|May 25, 2023

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

この論文は、リファレンス画像とオプションの構造的制約条件を入力として、高品質でパーソナライズされた画像を生成するためのフレームワーク「Prompt-Free Diffusion」を紹介する。テキストプロンプトの必要性を排除するため、テキストエンコーダーを視覚的入力を意味のある表現に変換する新規なセマンティックコンテキストエンコーダー（SeeCoder）に置き換える。この手法により、最先端のテキストから画像生成モデルと同等の性能を達成するとともに、さまざまな拡散モデルや、アニメ生成やバーチャルトライオンなどの下流タスクへのシームレスな再利用を可能にする。

ABSTRACT

Text-to-image (T2I) research has grown explosively in the past year, owing to the large-scale pre-trained diffusion models and many emerging personalization and editing approaches. Yet, one pain point persists: the text prompt engineering, and searching high-quality text prompts for customized results is more art than science. Moreover, as commonly argued: "an image is worth a thousand words" - the attempt to describe a desired image with texts often ends up being ambiguous and cannot comprehensively cover delicate visual details, hence necessitating more additional controls from the visual domain. In this paper, we take a bold step forward: taking "Text" out of a pre-trained T2I diffusion model, to reduce the burdensome prompt engineering efforts for users. Our proposed framework, Prompt-Free Diffusion, relies on only visual inputs to generate new images: it takes a reference image as "context", an optional image structural conditioning, and an initial noise, with absolutely no text prompt. The core architecture behind the scene is Semantic Context Encoder (SeeCoder), substituting the commonly used CLIP-based or LLM-based text encoder. The reusability of SeeCoder also makes it a convenient drop-in component: one can also pre-train a SeeCoder in one T2I model and reuse it for another. Through extensive experiments, Prompt-Free Diffusion is experimentally found to (i) outperform prior exemplar-based image synthesis approaches; (ii) perform on par with state-of-the-art T2I models using prompts following the best practice; and (iii) be naturally extensible to other downstream applications such as anime figure generation and virtual try-on, with promising quality. Our code and models are open-sourced at https://github.com/SHI-Labs/Prompt-Free-Diffusion.

研究の動機と目的

• テキストから画像生成モデルにおけるプロンプト工学の持続的課題、すなわち時間のかかるかつしばしば不正確なプロンプト作成を解決すること。
• テキストプロンプトに依存しないように、リファレンス画像からの視覚的コンテキストに置き換えること。
• 複数の事前学習済みテキストから画像生成拡散モデルに適用可能な、再利用可能で即挿入可能な視覚エンコーダー（SeeCoder）を開発すること。
• プロンプトベースやコントロールベースの手法と比較して、より高いセマンティックおよびスタイル忠実度を実現する、正確で制御可能な画像生成を可能にすること。
• 再訓練を伴わずに、アニメキャラクター生成やバーチャルトライオンなどの実用的応用に拡張できること。

提案手法

• リファレンス画像をセマンティック埋め込みに変換する視覚ベースのエンコーダー「セマンティックコンテキストエンコーダー（SeeCoder）」を導入する。このエンコーダーはテキストを必要とせず、視覚的入力を処理する。
• 事前学習済みテキストから画像生成拡散モデルにおけるCLIPベースのテキストエンコーダーを、SeeCoderに置き換えることで、プロンプトフリーな生成を実現する。
• SeeCoderから得られる視覚的埋め込みを条件付き入力として画像生成をガイドする。同時に、エッジマップやポーズマップなどの構造的条件をオプションで組み込むことも可能である。
• SeeCoderでは、グローバルなセマンティクスとローカルなテクスチャを別々にエンコードする二重ブランチアーキテクチャを採用し、忠実度と制御性を向上させる。
• 大規模な画像-リファレンスペアのデータセット上で、視覚的特徴が望ましい生成結果と一致するように、SeeCoderをエンドツーエンドで訓練する。
• 事前学習済みのSeeCoderを凍結し、微調整なしに他の拡散モデルに直接挿入することで、ゼロショットデプロイメントを可能にする。

実験結果

リサーチクエスチョン

• RQ1 視覚ベースのエンコーダーがテキストから画像生成モデルにおけるテキストプロンプトを代替可能であり、生成品質を維持または向上させることができるか？
• RQ2 視覚的コンテキストエンコーダー（SeeCoder）は、多様なテキストから画像生成拡散モデルにどれほど一般化できるか？
• RQ3 提案されたフレームワークは、プロンプトベースやコントロールベースの手法と比較して、パーソナライズド画像生成において同等または優れた性能を達成できるか？
• RQ4 SeeCoderは、再トレーニングなしに、アニメ、写真的リアリズム、アートなど多様なドメインにどれほど再利用可能か？
• RQ5 バーチャルトライオンやアニメキャラクター生成といった実用的下流タスクに、最小限の変更で拡張可能か？

主な発見

• Prompt-Free Diffusionは、定量的および定性的な評価の両面で、先行するエクemplarベースの画像合成手法を上回る性能を示した。
• 任意のテキスト入力なしで、最適なプロンプト工学を用いた最先端のテキストから画像生成モデルと同等の性能を達成した。
• SeeCoderは強力な一般化性能を示し、微調整なしに7種類の多様な拡散モデル（SD1.5、RealisticVision-V2、OAM-V2など）で高品質な結果を達成した。
• 空間符号化を組み込んだSeeCoder-PAは、標準のSeeCoderに比べ、特にテクスチャおよびスタイルの再現性で優れた品質を達成した。
• 画像のバリエーション生成およびバーチャルトライオンタスクにおいて、Dual-ControlNetを上回るテクスチャ品質、色の整合性、スタイル忠実度を実現した。
• 最小限のアーキテクチャ的変更で、高品質なアニメキャラクター生成およびバーチャルトライオンを実現し、強力な実用的応用性を示した。