[論文レビュー] Custom-Edit: Text-Guided Image Editing with Customized Diffusion Models

Jooyoung Choi, Yunjey Choi+3 more|arXiv (Cornell University)|May 25, 2023

Computational and Text Analysis Methods被引用数 7

ひとこと要約

Custom-Editは、最初に言語関連パラメータ（テキスト埋め込みとアテンション重み）と拡張されたプロンプトを用いて、拡散モデルをカスタマイズする2段階のテキストガイドド画像編集フレームワークを提案する。その後、元の構造を保持しながら参照画像の外観忠実度を向上させる高精細な編集を実行する。本手法は、テキストインバージョンやドリームボーストといった先行手法と比較して、元画像と参照画像の類似度のトレードオフを優れて達成する。

ABSTRACT

Text-to-image diffusion models can generate diverse, high-fidelity images based on user-provided text prompts. Recent research has extended these models to support text-guided image editing. While text guidance is an intuitive editing interface for users, it often fails to ensure the precise concept conveyed by users. To address this issue, we propose Custom-Edit, in which we (i) customize a diffusion model with a few reference images and then (ii) perform text-guided editing. Our key discovery is that customizing only language-relevant parameters with augmented prompts improves reference similarity significantly while maintaining source similarity. Moreover, we provide our recipe for each customization and editing process. We compare popular customization methods and validate our findings on two editing methods using various datasets.

研究の動機と目的

• 事前学習中に観測されていないユーザー指定の視覚的コンセプトを忠実に転送できないテキストガイドド画像編集の限界を解消すること。
• 言語関連パラメータのみをカスタマイズすることで、テキストガイドド編集における参照外観忠実度を向上させること。
• 元画像の構造を保持するのと、参照外観忠実度を一致させるというトレードオフをバランスさせること。
• 定性的および定量的指標の両面で既存手法を上回る、実用的なカスタマイズと編集のレシピを提供すること。

提案手法

• 参照画像を用いて、クロスアテンションのキーと値、およびレアトークン埋め込み（V*）のみを微調整することで、事前学習済みの拡散モデル（Stable Diffusion）をカスタマイズする。
• 微調整中に参照外観に注目を向けるために、'[rare token] [modifier] [class noun]'という形の拡張プロンプトを適用する。
• LAIONからCLIPで取得した画像を用いた事前保持損失を導入し、一般言語理解を維持し、言語のずれを防ぐ。
• Prompt-to-Prompt（P2P）とSDEditを用いてテキストガイドド編集を実行し、元の構造を保持しながら参照外観を転送するため、変更されたアテンションマップを統合する。
• BLIP2を用いて元画像のプロンプトを自動生成し、手動のキャプション作成を不要とするエンドツーエンドのテキストガイドド編集を実現する。
• P2Pにおける注入タイミング（t=τ）とSDEditにおける拡散ステップを制御することで、元画像と参照画像の類似度のトレードオフを分析可能にする。

Figure 1 : Our Custom-Edit allows high-fidelity text-guided editing, given a few references. Edited images with BLIP2 [ 13 ] captions show the limitation of textual guidance in capturing the fine-grained appearance of the reference.

実験結果

リサーチクエスチョン

• RQ1 拡散モデルにおける言語関連パラメータのみのカスタマイズが、テキストガイドド画像編集における参照外観忠実度を顕著に向上させることができるか？
• RQ2 カスタマイズ手法の選択（例：Custom-Diffusion対比テキストインバージョン対比ドリームボースト）が、元画像と参照画像の類似度トレードオフに与える影響は何か？
• RQ3 拡張プロンプト（'[rare token] [modifier] [class noun]'）を用いることで、少数の参照画像から微細な視覚的詳細をモデルがよりよく捉えるようになるか？
• RQ4 異なる編集フレームワーク（P2P 対比 SDEdit）が、カスタマイズされたモデルとどのように相互作用し、元の構造を保持するとともに参照外観を一致させるか？
• RQ5 事前保持損失にCLIPで取得した画像を用いることで、カスタマイズ中に一般言語理解を維持する効果は何か？

主な発見

• 拡張プロンプトと言語関連パラメータの微調整を組み合わせたCustom-Editは、P2PおよびSDEditの両編集フレームワークにおいて、最良の元画像-参照画像類似度トレードオフを達成する。
• Custom-Diffusionは、テキストインバージョンやドリームボーストと比較して、参照類似度を上回りつつ、同等またはより良い元画像類似度を維持しており、パラメータ効率の良いカスタマイズの有効性を示している。
• テキストインバージョンはCustom-Diffusionと同等の元画像類似度を示すが、顕著に低い参照類似度を示しており、視覚的コンセプトの転送が不十分であることが示唆される。
• ドリームボーストは高い元画像類似度を達成するが、低い参照類似度を示しており、正確な外観転送を要する編集タスクにおいては効果が低いことが示唆される。
• SDEditは、すべての手法においてP2Pよりも低い元画像類似度を示しており、P2Pのアテンション注入メカニズムが元の構造をよりよく保持していることが示唆される。
• CLIPで取得した事前画像を用いた事前保持損失の導入により、言語理解が維持され、カスタマイズ中の一般化性能が向上する。

Figure 2 : Our Custom-Edit consists of two processes: the customization process and the editing process. (a) Customization. We customize a diffusion model by optimizing only language-relevant parameters (i.e., custom embedding V* and attention weights) on a given set of reference images. We also app