[論文レビュー] SINE: SINgle Image Editing with Text-to-Image Diffusion Models

Zhixing Zhang, Ligong Han+3 more|arXiv (Cornell University)|Dec 8, 2022

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

SINEは、モデルベースの分類器フリーのガイドランスとパッチベースの微調整を導入することで、事前学習済みテキストから画像への拡散モデルを用いた単一画像編集のための新規手法を提案する。これにより、コンテンツの保存と言語誘導型操作を実現する高精細で解像度に依存しない画像編集が可能となり、1枚の入力画像からでも、従来の手法で一般的に見られる過学習や幾何学的歪みの問題を克服する。

ABSTRACT

Recent works on diffusion models have demonstrated a strong capability for conditioning image generation, e.g., text-guided image synthesis. Such success inspires many efforts trying to use large-scale pre-trained diffusion models for tackling a challenging problem--real image editing. Works conducted in this area learn a unique textual token corresponding to several images containing the same object. However, under many circumstances, only one image is available, such as the painting of the Girl with a Pearl Earring. Using existing works on fine-tuning the pre-trained diffusion models with a single image causes severe overfitting issues. The information leakage from the pre-trained diffusion models makes editing can not keep the same content as the given image while creating new features depicted by the language guidance. This work aims to address the problem of single-image editing. We propose a novel model-based guidance built upon the classifier-free guidance so that the knowledge from the model trained on a single image can be distilled into the pre-trained diffusion model, enabling content creation even with one given image. Additionally, we propose a patch-based fine-tuning that can effectively help the model generate images of arbitrary resolution. We provide extensive experiments to validate the design choices of our approach and show promising editing capabilities, including changing style, content addition, and object manipulation. The code is available for research purposes at https://github.com/zhang-zx/SINE.git .

研究の動機と目的

• 事前学習済みテキストから画像への拡散モデルを用いた単一画像編集の課題に対処すること。既存手法は過学習と幾何学的歪みに苦しんでいる。
• スタイリングトランスファー、オブジェクト操作、解像度スケーリングなどの多様な編集を可能にしつつ、コンテンツと構造の保存を実現すること。
• 同じオブジェクトの複数枚の画像を必要とするか、任意の解像度で失敗する既存手法の制限を克服すること。
• 大規模事前学習モデルの一般化能力を活用するとともに、1枚の参照画像に根ざした編集を実現するフレームワークを開発すること。
• アイデンティティと空間的一致性を保ちながら、言語誘導型編集を多様な編集タスクに応用できること。

提案手法

• モデルベースの分類器フリーのガイドランスを導入。1枚の画像で微調整された拡散モデルが、初期のノイズ除去段階でスコアガイドランスを提供し、コンテンツと構造を保存する。
• 2段階のノイズ除去プロセスを採用：初期段階で過学習したモデルによるガイドランスでコンテンツを埋め込み、その後、テキストプロンプトに条件付けられた事前学習モデルによる最終段階の編集を実行。
• 空間的位置とコンテンツを分離するパッチベースの微調整を採用。再トレーニングなしに任意の解像度での生成を可能にする。
• 学習可能なガイドランス重み $v$ を用いた分類器フリーのガイドランスを活用。参照画像への忠実度と事前学習モデルからの創造性のバランスを取る。
• ハイブリッドサンプリング戦略を適用。初期ノイズ除去段階では事前学習モデルが微調整済みモデルにガイドされ、その後、言語条件付けにより事前学習モデルが主導する。
• テキスト記述子を用いてターゲットコンテンツを定義し、言語プロンプトで望ましい編集を誘導。スタイリングトランスファー、オブジェクト追加などの多様な編集タスクを可能にする。

Figure 1 : With only one real image, i.e. , Source Image, our method is able to manipulate and generate the content in various ways, such as changing style, adding context, modifying the object, and enlarging the resolution, through guidance from the text prompt.

実験結果

リサーチクエスチョン

• RQ1 1枚の参照画像のみを用いて、コンテンツの忠実度を維持しつつ多様な編集を実現できる単一画像編集手法は可能か？
• RQ2 1枚の画像で微調整する際の拡散モデルにおける過学習をどのように軽減できるか？
• RQ3 事前学習済みテキストから画像への拡散モデルを、微調整済みモデルによって効果的にガイドすることで、アイデンティティと構造の保存が可能か？
• RQ4 アーティファクトや幾何学的歪みなしに高解像度の画像を生成できるか？
• RQ5 言語誘導型ガイドランスを用いて、コンテンツ、スタイリング、オブジェクトアイデンティティを操作しながら、元の画像の空間的レイアウトをどの程度保持できるか？

主な発見

• 本手法は、スタイリング変更、コンテンツ追加、オブジェクト変更など、1枚の画像からでも高精細な編集を実現し、アイデンティティと構造の保存を維持する。
• パッチベースの微調整により、任意の解像度での生成が可能であり、例として『パールのイヤリングをつける少女』の512×512の絵画から、640×512の彫刻の画像を生成できる。
• ガイドランス重み $v=0.7$ が忠実度と創造性のバランスを最適化し、アーティファクトを最小限に抑え、高いLPIPSおよびCLIPスコアを達成する。
• 本手法は、コンテンツの削除、スタイリング生成、二重モデルスタイリングトランスファーといった複雑な編集を効果的に実行し、多様な編集タスクにおける頑健性を示す。
• 従来手法と比較して、過学習と幾何学的アーティファクトを低減し、人間の顔や複雑なシーンのようなリアルワールドの画像でも安定したパフォーマンスを発揮する。
• 特に高解像度での編集や曖昧な言語プロンプトの下でも、空間的一致性と一般化能力を維持する点で、既存手法を上回る性能を示す。

Figure 2 : Overview of our method. (a) Given a source image, we first randomly crop it into patches and get the corresponding latent code $\mathbf{z}$ with the pre-trained encoder. At fine-tune time, the denoising model, $\boldsymbol{\epsilon}_{\theta}$ , takes three inputs: noisy latent $\mathbf{z}