[論文レビュー] Prompt Tuning Inversion for Text-Driven Image Editing Using Diffusion Models

Wenkai Dong, Song Xue+2 more|arXiv (Cornell University)|May 8, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、入力画像の内容を学習可能な条件付き埋め込みに符号化することで、高精度な再構成と編集を実現する、ユーザーフレンドリーなテキスト駆動型画像編集手法であるPrompt Tuning Inversion (PTI) を提案する。ターゲットテキスト埋め込みと最適化された画像埋め込みの間を補間することで、編集可能性と忠実度の優れたトレードオフを達成し、ImageNet においてPSNR 25.71、SSIM 0.8501 を達成し、最先端のベースラインを上回る性能を発揮する。

ABSTRACT

Recently large-scale language-image models (e.g., text-guided diffusion models) have considerably improved the image generation capabilities to generate photorealistic images in various domains. Based on this success, current image editing methods use texts to achieve intuitive and versatile modification of images. To edit a real image using diffusion models, one must first invert the image to a noisy latent from which an edited image is sampled with a target text prompt. However, most methods lack one of the following: user-friendliness (e.g., additional masks or precise descriptions of the input image are required), generalization to larger domains, or high fidelity to the input image. In this paper, we design an accurate and quick inversion technique, Prompt Tuning Inversion, for text-driven image editing. Specifically, our proposed editing method consists of a reconstruction stage and an editing stage. In the first stage, we encode the information of the input image into a learnable conditional embedding via Prompt Tuning Inversion. In the second stage, we apply classifier-free guidance to sample the edited image, where the conditional embedding is calculated by linearly interpolating between the target embedding and the optimized one obtained in the first stage. This technique ensures a superior trade-off between editability and high fidelity to the input image of our method. For example, we can change the color of a specific object while preserving its original shape and background under the guidance of only a target text prompt. Extensive experiments on ImageNet demonstrate the superior editing performance of our method compared to the state-of-the-art baselines.

研究の動機と目的

• マスクや正確なソース記述を必要とする既存のテキスト駆動型画像編集手法の限界を解消すること。
• 拡散モデルを用いてノイズの多い潜在空間から入力画像を正確に再構成することで、画像編集の忠実度を向上させること。
• 入力画像とターゲットテキストプロンプトのみで、直感的で使いやすい編集を可能とすること。
• ドメイン固有の微調整なしに、多様な画像ドメインに一般化できること。
• 入力画像の構造的詳細の保持と編集可能性の間で、バランスの取れたトレードオフを達成すること。

提案手法

• 再構成と編集の2段階からなる、Prompt Tuning Inversion (PTI) を提案する。
• 再構成段階では、プロンプトチューニングベクトルの最適化を通じて、入力画像の特徴を学習可能な条件付き埋め込みに符号化する。
• サンプリング時に分類器フリー・ガイドランスを用い、ガイドランススケールを7.5に設定することで、画像品質を向上させる。
• 編集段階では、ターゲットテキスト埋め込みと最適化された画像埋め込みの間を線形補間し、新たな条件付き埋め込みを生成する。
• 補間された埋め込みが、入力構造を保持しつつターゲットテキストに一致するように、拡散モデルをガイドする。
• 微分可能な最適化プロセスを用いて条件付き埋め込みを精緻化し、高速かつ正確なインバージョンを実現する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルにおいて、ノイズの多い潜在空間から実画像を再構成するために、学習可能な条件付き埋め込みを効果的に最適化できるか？
• RQ2 ターゲットテキスト埋め込みと最適化された画像埋め込みの間を補間することで、編集可能性と忠実度のバランスが向上するか？
• RQ3 ユーザーがマスクや詳細なソース記述を提供しない状況でも、本手法が高忠実度の編集を達成できるか？
• RQ4 DDIM や Null-Text Inversion といった既存のインバージョン技術と比較して、本手法は再構成品質と編集性能において優れているか？
• RQ5 補間比や学習率といったハイパーパrameterは、編集可能性と忠実度のトレードオフにどのように影響を与えるか？

主な発見

• PTIはImageNetでPSNR 25.71、SSIM 0.8501を達成し、NTI (24.45 PSNR、0.8270 SSIM) やDDIM (13.64 PSNR、0.4641 SSIM) を上回る性能を発揮した。
• すべての学習率およびイテレーション設定において、NTI よりも収束が速く、再構成品質が優れている。
• アブレーションスタディの結果、補間比 (η) が 0.9 の場合が編集可能性と忠実度の最良のトレードオフを達成しており、それ以下の値では性能が低下した。
• 学習率 (β) を 0.1 から 0.01 に低下させると、CSFID-LPIPS スコアが悪化した。これは、より高い学習率が編集のバランスを向上させることを示唆している。
• 強力な性能を発揮する一方で、複数の同じオブジェクト（例：複数のアヒル）を同時に編集できないという失敗事例も確認された。
• 本手法は多様な画像ドメインで有効であり、マスクやソーステキスト記述なしに動作するため、使いやすさが向上する。