[論文レビュー] UniTune: Text-Driven Image Editing by Fine Tuning a Diffusion Model on a Single Image

Dani Valevski, Matan Kalman+4 more|arXiv (Cornell University)|Oct 17, 2022

Generative Adversarial Networks and Image Synthesis被引用数 8

ひとこと要約

UniTuneは、1枚の画像に対して微調整を行うことで、マスクやスケッチを必要とせず、高い視覚的・意味的正確性を維持したテキスト駆動型画像編集を可能にする。ポーズや衣装、スタイルの変更といった表現力のある編集を実現するため、微調整に加えて分類器フリーなガイドランスとノイズ注入を組み合わせ、最小限のユーザー入力で高品質な1枚の画像編集を実現する。

ABSTRACT

Text-driven image generation methods have shown impressive results recently, allowing casual users to generate high quality images by providing textual descriptions. However, similar capabilities for editing existing images are still out of reach. Text-driven image editing methods usually need edit masks, struggle with edits that require significant visual changes and cannot easily keep specific details of the edited portion. In this paper we make the observation that image-generation models can be converted to image-editing models simply by fine-tuning them on a single image. We also show that initializing the stochastic sampler with a noised version of the base image before the sampling and interpolating relevant details from the base image after sampling further increase the quality of the edit operation. Combining these observations, we propose UniTune, a novel image editing method. UniTune gets as input an arbitrary image and a textual edit description, and carries out the edit while maintaining high fidelity to the input image. UniTune does not require additional inputs, like masks or sketches, and can perform multiple edits on the same image without retraining. We test our method using the Imagen model in a range of different use cases. We demonstrate that it is broadly applicable and can perform a surprisingly wide range of expressive editing operations, including those requiring significant visual changes that were previously impossible.

研究の動機と目的

• 編集マスクやスケッチ、複数の入力を必要としない高精細なテキスト駆動型画像編集を可能にすること。
• 1枚の画像に事前学習済みの拡散モデルを微調整することで、視覚的・意味的詳細を保持しつつ、表現力のある編集が可能かどうかを検討すること。
• 特に顕著な視覚的変更に対して、元の画像への忠実度と編集の表現力のバランスを取る手法を開発すること。
• 分類器フリーなガイドランスとノイズ注入が、忠実度を維持しながら編集品質を向上させられることを示すこと。
• 再トレーニングなしに同じ画像に対して複数回の編集を可能にし、多様な編集タスクに広く適用可能であることを実証すること。

提案手法

• テキストから画像を生成する事前学習済みの拡散モデル（例：Imagen）を、1つの画像-プロンプトペアに対して微調整することで、出力が入力画像と整合的になるようモデルをバイアス化する。
• サンプリング中に分類器フリーなガイドランスを用い、元の画像への忠実度と新しいテキストプロンプトへの適合性のトレードオフを制御する。
• 元の画像のノイズを加えたバージョンを確率的サンプラーの初期化に使用し、構造的・意味的詳細の保持を促進する。
• サンプリング後に、顔やテクスチャなどの関連する視覚的特徴を元の画像から抽出し、生成出力に統合することで忠実度を向上させる。
• 再トレーニングなしに同じ微調整済みモデルを再利用することで、同じ画像に対して繰り返し編集を可能にする。
• 事前学習済みモデルが持つ広範な視覚的・意味的知識を活用し、単なるインpaintingを超えた編集を実現する。たとえば、グローバルなスタイル転送や、複雑なポーズ・オブジェクト変更も可能である。

Figure 1. UniTune edits preserving visual and semantic fidelity to the user supplied image.

実験結果

リサーチクエスチョン

• RQ1 1枚の画像-プロンプトペアに対して拡散モデルを微調整することで、編集マスクや追加入力を必要とせず、高精細なテキスト駆動型画像編集が可能かどうか。
• RQ2 顕著な視覚的変更（例：衣装やスタイルの変更）を加えても、視覚的・意味的詳細（例：アイデンティティ、ポーズ、テクスチャ）をどの程度保持できるか。
• RQ3 分類器フリーなガイドランスとノイズ注入をどのように組み合わせれば、忠実度と表現力のバランスを最適化できるか。
• RQ4 同じ微調整済みモデルが、再トレーニングなしに1枚の画像に対して複数回の編集を可能にするか。
• RQ5 特に局所的またはマスクベースの編集において、1つの高品質な編集結果を得ることが困難な点は何か。

主な発見

• UniTuneは、衣装の変更やポーズ、スタイルの変更といった複雑な編集を実行しながらも、アイデンティティや意味的構造を保持している。顕著な視覚的変更を伴う場合でも同様に有効である。
• 背景やオブジェクトレベルの編集においても、顔などの未編集領域の視覚的忠実度が高く維持されている。
• 1枚の画像-プロンプトペアに対する微調整によって、モデルの事前学習済み能力が著しく損なわれることなく、ドメインをまたいだ多様な編集が可能である。
• 分類器フリーなガイドランスとノイズ注入により、忠実度と表現力のバランスを向上させ、最適なバランスはサンプリングパラメータの調整で調整可能である。
• 再トレーニングなしに同じモデルを再利用することで、繰り返し編集が可能であり、再利用性とスケーラビリティが実証された。
• 小さな編集やマスクベースの編集においては1つの高品質な結果を得るのが困難な点があるものの、グローバルなスタイル転送やコマーシャル風の編集を含む多様なユースケースにおいて、一貫して高忠実度の出力を得られた。

Figure 2. UniTune maintains high visual fidelity in unaffected areas of the image when making localized edits (e.g. the faces when adding a train to the background), and high semantic fidelity when making global edits (e.g. when changing the style of the entire image).