[論文レビュー] Null-text Inversion for Editing Real Images using Guided Diffusion Models

Ron Mokady, Amir Hertz+3 more|arXiv (Cornell University)|Nov 17, 2022

Generative Adversarial Networks and Image Synthesis被引用数 16

ひとこと要約

本論文は、ガイド付き拡散モデルを用いて、リアルな画像の高精細なテキストベース編集を実現する2段階手法であるnull-text inversionを提案する。ピvォタルインバージョン（DDIM由来のノイズ軌道を中心に最適化）とnull-text最適化（条件付きテキスト埋め込みではなく、非条件付き（null）テキスト埋め込みのみを微調整）を組み合わせることで、モデルの微調整を伴わず、正確な画像再構成とスムーズなプロンプト間編集を可能にし、ほぼ完璧な忠実度を達成するとともに、編集機能を維持する。

ABSTRACT

Recent text-guided diffusion models provide powerful image generation capabilities. Currently, a massive effort is given to enable the modification of these images using text only as means to offer intuitive and versatile editing. To edit a real image using these state-of-the-art tools, one must first invert the image with a meaningful text prompt into the pretrained model's domain. In this paper, we introduce an accurate inversion technique and thus facilitate an intuitive text-based modification of the image. Our proposed inversion consists of two novel key components: (i) Pivotal inversion for diffusion models. While current methods aim at mapping random noise samples to a single input image, we use a single pivotal noise vector for each timestamp and optimize around it. We demonstrate that a direct inversion is inadequate on its own, but does provide a good anchor for our optimization. (ii) NULL-text optimization, where we only modify the unconditional textual embedding that is used for classifier-free guidance, rather than the input text embedding. This allows for keeping both the model weights and the conditional embedding intact and hence enables applying prompt-based editing while avoiding the cumbersome tuning of the model's weights. Our Null-text inversion, based on the publicly available Stable Diffusion model, is extensively evaluated on a variety of images and prompt editing, showing high-fidelity editing of real images.

研究の動機と目的

• 最先端のテキストから画像への拡散モデルを用いて、直感的でテキストベースのリアルな画像編集を可能にすること。
• 分類器フリーのガイド付き拡散モデルの潜在空間へのリアルな画像のインバージョンを、編集可能性を維持したまま実現することの挑戦に応えること。
• 各画像ごとに計算コストの高いモデルの微調整や重み更新を回避する方法を開発すること。
• テキストガイドのもとで、最小限の歪みでリアルな画像の高精細再構成を達成し、その後の編集を可能にすること。

提案手法

• ピvォタルインバージョンの提案：DDIMインバージョンから得られるノイズ付き潜在コードのシーケンスを、すべてのノイズベクトルを最適化対象とするのではなく、固定のピボットとして使用する。
• null-text最適化の導入：条件付きテキスト埋め込みを変更する代わりに、入力画像の再構成を改善するために非条件（null）テキスト埋め込みを最適化する。
• 安定拡散モデルをバックボーンとして採用し、編集の柔軟性を維持するための分類器フリーのガイドランスメカニズムを活用する。
• 分類器フリーのガイドランスが引き起こす再構成誤差を是正するために、DDIMインバージョン軌道の周囲で最適化を実施する。
• 最適化されたnull-text埋め込みを用いて、インバージョン済み画像上でプロンプト間編集を実行し、アイデンティティと構造を保持する。
• モデルの重みや条件付き埋め込みのチューニングを回避することで、モデルの事前分布をそのままで保ち、効率的かつ繰り返し可能な編集を可能にする。

実験結果

リサーチクエスチョン

• RQ1 分類器フリーのガイドランスを備えたテキストガイド付き拡散モデルの潜在空間へのリアルな画像のインバージョンは、忠実度が高く、編集可能性を維持したまま可能か？
• RQ2 再構成誤差を増幅させる分類器フリーのガイドランスは、画像インバージョン中に効果的に管理可能か？
• RQ3 1回のインバージョンで、再インバージョンなしに複数回、多様なテキストベースの編集が可能か？
• RQ4 条件付き埋め込みやモデル重みの最適化に代えて、null-text埋め込みのみを最適化することで、より優れた再構成が達成できるか？
• RQ5 インバージョン手法は、アイデンティティ忠実度を維持しながら、プロンプト間編集のような高度な編集技術をサポートできるか？

主な発見

• Null-text inversionは、編集前に適用した場合、ベースラインのSDEditと比較してLPIPSの知覚的距離が著しく低く、ほぼ完璧な再構成を達成する。
• 本手法により、プロンプト間編集を用いた高精細な編集が可能となり、複雑なキャプション変更に対しても元の画像のアイデンティティが保持される。
• null-text埋め込みのみを最適化することで、モデルの事前分布を損なわず、各画像ごとのモデル微調整の必要がなくなる。
• アブレーションスタディの結果、ピvォタルインバージョンとnull-text最適化の両方が再構成忠実度に顕著に寄与することが確認された。
• 本手法は、再構成誤差を低減することでSDEditの結果を改善し、特にターゲットテキストの整合性と入力忠実度のバランスが取れている場合に顕著である。
• 1枚あたり1分程度のインバージョン時間であるが、その後の編集は1回10秒未満で無限に繰り返し可能であり、繰り返し編集に非常に効率的である。