[論文レビュー] Plug-and-Play Diffusion Features for Text-Driven Image-to-Image Translation

Narek Tumanyan, Michal Geyer+2 more|arXiv (Cornell University)|Nov 22, 2022

Generative Adversarial Networks and Image Synthesis被引用数 13

ひとこと要約

この論文は、微調整を必要とせず事前学習済みのテキストから画像への拡散モデルを活用する、プラグアンドプレイ型のテキスト駆動型画像間翻訳フレームワークを提案する。ガイドランス画像からの空間的特徴量と自己注意マップを拡散プロセスに統合することで、複雑なテキストプロンプトに正確に一致しつつ、高精細な構造的保存を達成し、P2Pなどの既存手法よりもレイアウトの一貫性と視覚的品質で優れている。

ABSTRACT

Large-scale text-to-image generative models have been a revolutionary breakthrough in the evolution of generative AI, allowing us to synthesize diverse images that convey highly complex visual concepts. However, a pivotal challenge in leveraging such models for real-world content creation tasks is providing users with control over the generated content. In this paper, we present a new framework that takes text-to-image synthesis to the realm of image-to-image translation -- given a guidance image and a target text prompt, our method harnesses the power of a pre-trained text-to-image diffusion model to generate a new image that complies with the target text, while preserving the semantic layout of the source image. Specifically, we observe and empirically demonstrate that fine-grained control over the generated structure can be achieved by manipulating spatial features and their self-attention inside the model. This results in a simple and effective approach, where features extracted from the guidance image are directly injected into the generation process of the target image, requiring no training or fine-tuning and applicable for both real or generated guidance images. We demonstrate high-quality results on versatile text-guided image translation tasks, including translating sketches, rough drawings and animations into realistic images, changing of the class and appearance of objects in a given image, and modifications of global qualities such as lighting and color.

研究の動機と目的

• モデルの再トレーニングや微調整を必要とせず、高精細なテキスト誘導型画像間翻訳を可能にすること。
• 非テキスト的ガイドランス入力（例：画像、スケッチ）からの画像生成において、テキストから画像への拡散モデルが構造的制御を欠いている問題に対処すること。
• 拡散モデルの内部空間的特徴量および自己注意メカニズムが、画像翻訳に利用可能な構造的情報をどのようにエンコードしているかを調査すること。
• 実写画像、スケッチ、アニメーションなど多様なガイドランス入力に適用可能な統合型フレームワークの開発。
• ガイドランス画像のレイアウトを保持するのと、ターゲットテキストプロンプトに忠実に従うのとの間で、より良いバランスを達成すること。

提案手法

• DDIM逆問題を用いてガイドランス画像から空間的特徴量と自己注意マップを抽出する。
• 生成プロセス中に、事前学習済みのテキストから画像への拡散モデルの潜在空間にこれらの特徴量を直接統合する。
• ガイドランス画像からの特徴量の意味的整合性と注意パターンを維持することで、空間的構造を保持する。
• 追加のトレーニングやパラメータ更新を一切行わず、事前学習済みモデルの内部表現のみを用いる。
• 拡散モデルの潜在空間内で、複数のノイズ除去ステップで特徴量を変更し、生成を誘導する。
• モデルの内部注意メカニズムを活用して、翻訳中に細粒度の構造的関連性を維持する。

Figure 2 : Plug-and-play Diffusion Features. (a) Our framework takes as input a guidance image and a text prompt describing the desired translation; the guidance image is inverted to initial noise ${\boldsymbol{x}}^{G}_{T}$ , which is then progressively denoised using DDIM sampling. During this proc

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのテキストから画像への拡散モデルの内部空間的特徴量に、構造的および意味的レイアウト情報はどのようにエンコードされているか？
• RQ2 ガイドランス画像からの空間的特徴量および自己注意マップを、微調整なしに生成画像の構造を制御するために使用できるか？
• RQ3 特徴量の注入は、P2Pなどのクロスアテンション操作と比較して、画像翻訳におけるレイアウト忠実度の保持にどのように寄与するか？
• RQ4 空間的特徴量と自己注意マップの両方を注入することで、構造的保存と視覚的品質にどのような影響があるか？
• RQ5 どのような状況でこの手法が失敗し、特徴空間における意味的対応性に依存する際の限界は何か？

主な発見

• 定量的評価において、自己類似距離が低く抑えられることから、P2Pよりも特にマルチエディット状況で顕著に優れた構造的保存が達成されている。
• 空間的特徴量と自己注意マップの両方を注入することが、高精細なレイアウト転送に不可欠であり、いずれかのコンponentを省くと構造的忠実度が著しく低下する。
• テキスト2ライブ、DiffusionCLIP、FlexITなどのベースラインと比較して、定性的および定量的指標の両方で優れている。特に、オブジェクトのカテゴリやスタイルの変更といった構造的変更の処理において顕著である。
• 複雑な編集、例えばスケッチをフォトリッチな画像に変換する、またはオブジェクトの識別子や外観を変更する場合でも、高い視覚的品質と意味的整合性を維持している。
• DDIM逆問題により、ガイドランス画像のエンコードが効果的に可能であるが、滑らかで模様のない画像では低周波数の外観アーチファクトを捕捉することがある。
• ガイドランス画像とターゲットテキスト間に意味的対応がない場合、例えば任意の色分けマスクでは、この手法は失敗する。

Figure 3 : Visualising diffusion features. We used a collection of 20 humanoid images (real and generated), and extracted spatial features from different decoder layers, at roughly 50% of the generation process ( $t=540$ ). For each block, we applied PCA on the extracted features across all images a