[论文解读] Custom-Edit: Text-Guided Image Editing with Customized Diffusion Models

Jooyoung Choi, Yunjey Choi+3 more|arXiv (Cornell University)|May 25, 2023

Computational and Text Analysis Methods被引用 7

一句话总结

Custom-Edit 提出了一种两阶段的文本引导图像编辑框架，首先仅通过语言相关参数（文本嵌入和注意力权重）并结合增强提示对扩散模型进行定制，然后在保持源图像结构的同时实现高保真度编辑并提升参考图像的外观保真度。与 Textual Inversion 和 Dreambooth 等先前方法相比，该方法在源图像与参考图像相似性之间实现了更优的平衡。

ABSTRACT

Text-to-image diffusion models can generate diverse, high-fidelity images based on user-provided text prompts. Recent research has extended these models to support text-guided image editing. While text guidance is an intuitive editing interface for users, it often fails to ensure the precise concept conveyed by users. To address this issue, we propose Custom-Edit, in which we (i) customize a diffusion model with a few reference images and then (ii) perform text-guided editing. Our key discovery is that customizing only language-relevant parameters with augmented prompts improves reference similarity significantly while maintaining source similarity. Moreover, we provide our recipe for each customization and editing process. We compare popular customization methods and validate our findings on two editing methods using various datasets.

研究动机与目标

• 为了解决文本引导图像编辑在忠实迁移预训练期间未见过的用户指定视觉概念方面的局限性。
• 通过仅微调语言相关模型参数，提升文本引导编辑中的参考外观保真度。
• 在保持源图像结构与匹配参考外观保真度之间实现平衡。
• 提供一种实用的定制与编辑方案，其在定性和定量指标上均优于现有方法。

提出的方法

• 通过仅微调交叉注意力键和值以及一个罕见标记嵌入（V*）来定制预训练扩散模型（Stable Diffusion），使用参考图像进行训练。
• 在微调过程中使用增强文本提示，形式为 '[rare token] [modifier] [class noun]'，以增强对参考外观的关注。
• 采用基于 CLIP 检索的 LAION 图像作为先验，引入先验保持损失，以维持通用语言理解并防止语言漂移。
• 使用 Prompt-to-Prompt (P2P) 和 SDEdit 进行文本引导编辑，通过注入修改后的注意力图来保持源图像结构，同时实现参考外观的迁移。
• 利用 BLIP2 自动生成源图像提示，实现无需人工标注的端到端文本引导编辑。
• 通过在 P2P 中的注入时间（t=τ）和 SDEdit 中的扩散步数控制编辑强度，实现源图像与参考图像相似性之间的权衡分析。

Figure 1 : Our Custom-Edit allows high-fidelity text-guided editing, given a few references. Edited images with BLIP2 [ 13 ] captions show the limitation of textual guidance in capturing the fine-grained appearance of the reference.

实验结果

研究问题

• RQ1 仅在扩散模型中微调语言相关参数，是否能显著提升文本引导图像编辑中的参考外观保真度？
• RQ2 定制方法的选择（如 Custom-Diffusion 与 Textual Inversion 或 Dreambooth）如何影响源图像与参考图像之间的相似性权衡？
• RQ3 使用增强提示（'[rare token] [modifier] [class noun]'）是否能提升模型从少量参考图像中捕捉细微视觉细节的能力？
• RQ4 不同的编辑框架（P2P 与 SDEdit）在与定制化模型结合时，如何在保持源图像结构与匹配参考外观之间取得平衡？
• RQ5 先验保持损失对在定制过程中维持通用语言理解有何影响？

主要发现

• 在 P2P 和 SDEdit 编辑框架上，使用增强提示和语言相关参数微调的 Custom-Edit 实现了最佳的源图像-参考图像相似性权衡。
• Custom-Diffusion 在参考相似度方面优于 Textual Inversion 和 Dreambooth，同时保持了相当或更优的源相似度，证明了参数高效定制的有效性。
• Textual Inversion 与 Custom-Diffusion 在源相似度上表现相近，但参考相似度显著更低，表明其对视觉概念的迁移能力较差。
• Dreambooth 虽然实现了较高的源相似度，但参考相似度较低，表明其在需要精确外观迁移的编辑任务中效果较弱。
• SDEdit 在所有方法中均表现出低于 P2P 的源相似度，表明 P2P 的注意力注入机制更有利于保持源图像结构。
• 使用 CLIP 检索的先验图像并结合先验保持损失，有助于维持语言理解能力，并在定制过程中提升泛化性能。

Figure 2 : Our Custom-Edit consists of two processes: the customization process and the editing process. (a) Customization. We customize a diffusion model by optimizing only language-relevant parameters (i.e., custom embedding V* and attention weights) on a given set of reference images. We also app