[論文レビュー] Sketch-Guided Text-to-Image Diffusion Models

Andrey Voynov, Kfir Aberman+1 more|arXiv (Cornell University)|Nov 24, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

この論文では、微調整を伴わず、推論時にスケッチなどの空間マップを用いて事前学習済みテキストから画像への拡散モデルをガイドする、軽量で学習可能な潜在ガイドance予測子（LGP）を導入する。LGPは数千枚の画像で学習されたピxls単位のMLPであり、ノイズの多い潜在特徴を空間的ガイドランスに変換する能力を学習し、スケッチのレイアウトを尊重する高品質で多様な画像生成を可能にする。自由なスケッチやドメイン外のスケッチに対しても有効であり、テキストプロンプトとの意味的整合性を維持する。

ABSTRACT

Text-to-Image models have introduced a remarkable leap in the evolution of machine learning, demonstrating high-quality synthesis of images from a given text-prompt. However, these powerful pretrained models still lack control handles that can guide spatial properties of the synthesized images. In this work, we introduce a universal approach to guide a pretrained text-to-image diffusion model, with a spatial map from another domain (e.g., sketch) during inference time. Unlike previous works, our method does not require to train a dedicated model or a specialized encoder for the task. Our key idea is to train a Latent Guidance Predictor (LGP) - a small, per-pixel, Multi-Layer Perceptron (MLP) that maps latent features of noisy images to spatial maps, where the deep features are extracted from the core Denoising Diffusion Probabilistic Model (DDPM) network. The LGP is trained only on a few thousand images and constitutes a differential guiding map predictor, over which the loss is computed and propagated back to push the intermediate images to agree with the spatial map. The per-pixel training offers flexibility and locality which allows the technique to perform well on out-of-domain sketches, including free-hand style drawings. We take a particular focus on the sketch-to-image translation task, revealing a robust and expressive way to generate images that follow the guidance of a sketch of arbitrary style or domain. Project page: sketch-guided-diffusion.github.io

研究の動機と目的

• 推論時に、テキストから画像への拡散モデルに対して、スケッチなどの別のドメインからの空間マップを用いて正確な空間的制御を可能にすること。
• タスク固有の学習を必要とする既存手法の限界や、ドメイン外のスケッチで失敗する問題を克服すること。
• 多様なスケッチスタイル（自由なスケッチを含む）に適応可能な普遍的で効率的かつドメインに依存しないガイドランス機構を開発すること。
• スケッチから画像への応用を超えて、セマンティックガイドドインpaintingや水平線制御への応用を示すこと。
• 大規模な再訓練を必要としない、軽量で微分可能かつピxls単位の学習メカニズムを提供すること。

提案手法

• 拡散モデルのバックボーンから得られるノイズの多い潜在特徴を、空間的ガイドランスマップにマップする、小さなピxls単位のマルチレイヤーパーセプトロン（MLP）である潜在ガイドランス予測子（LGP）を導入する。
• 数千枚の画像の小さなデータセットを用いて自己教師あり学習でLGPを訓練し、各潜在ピxlsで予測されたマップとターゲット空間マップ（例：スケッチ）との損失を計算する。
• 学習時に拡散プロセスと同じノイズスケジューリングを用いることで、サンプリング中にさまざまなノイズレベルに一般化できる。
• LGPは各潜在ピxlsごとに独立して動作するため、グローバルな画像エンコーディングを必要とせず、局所的で柔軟かつスタイルに依存しないガイドランスが可能になる。
• 推論時には、LGPが微分可能なガイドランスマップを生成し、事前学習済みの拡散モデルのノイズ除去プロセスを制御する。
• 損失関数（例：バイナリクロスエントロピー）と監視信号を変更することで、セマンティックガイドドインpaintingなどの他の空間ガイドランスタスクに拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 ピxls単位の小さなMLPが、メインモデルの微調整なしにスケッチなどの空間マップを用いて事前学習済みテキストから画像への拡散モデルを効果的にガイドできるか？
• RQ2 自由なスケッチなどのドメイン外スケッチに対して、この手法は、ドメイン内またはスタイライズドスケッチと比較してどの程度一般化できるか？
• RQ3 スケッチからの空間的レイアウトを強制する一方で、テキストプロンプトとの意味的整合性をどの程度維持できるか？
• RQ4 このフレームワークは、スケッチから画像への応用を超えて、セマンティックガイドド画像生成や水平線制御といった他の空間ガイドランスタスクにも適用可能か？
• RQ5 ピxls単位の学習メカニズムは、グローバルな画像レベルエンコーディングと比較して、柔軟性、データ効率、スタイル変動へのロバストネスの面でどの程度優れているか？

主な発見

• 本手法は、テキストプロンプトの意味的コンテンツと、自由なスケッチを含む多様なスケッチ入力の空間的レイアウトを両方尊重する高品質な画像生成を達成する。
• ピxls単位の局所的学習により、LGPはドメイン外のスケッチ（特に自由なスケッチ）に対して優れた一般化性能を示し、特定のスティックスタイルに過学習するのを回避する。
• LGPの訓練には数千枚の画像のみを必要とし、専用の画像から画像へのモデルを学習するのと比較して、データおよび計算コストを顕著に削減する。
• 本手法はセマンティックガイドドインpaintingにも成功して適用可能であり、マスク領域内の低セマンティック値では背景の補完が行われ、高セマンティック値では前景オブジェクトの生成が実現される。
• 本手法はさまざまなノイズレベルで安定して動作し、テキストプロンプトとスケッチが意味的に曖昧または矛盾する場合でも、効果的に適用可能である。
• 複雑でごちゃついた、または曖昧なスケッチでは失敗が生じやすく、特にランダムなノイズ初期化がスケッチ構造と競合する場合に、高い意味的曖昧性に対処できないという限界が示された。