[论文解读] LDEdit: Towards Generalized Text Guided Image Manipulation via Latent Diffusion Models

Paramanand Chandramouli, Kanchana Vaishnavi Gandikota|arXiv (Cornell University)|Oct 5, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

LDEdit 提出了一种无需微调、无需优化的零样本方法，用于使用潜在扩散模型（LDMs）进行广义文本引导的图像编辑。通过在潜在空间中利用确定性的 DDIM 采样，并将反向扩散过程基于目标文本提示进行条件控制，该方法实现了快速、灵活的局部与全局属性编辑——例如面部特征、颜色和艺术风格——而无需微调，在速度和用户偏好方面优于基线方法。

ABSTRACT

Research in vision-language models has seen rapid developments off-late, enabling natural language-based interfaces for image generation and manipulation. Many existing text guided manipulation techniques are restricted to specific classes of images, and often require fine-tuning to transfer to a different style or domain. Nevertheless, generic image manipulation using a single model with flexible text inputs is highly desirable. Recent work addresses this task by guiding generative models trained on the generic image datasets using pretrained vision-language encoders. While promising, this approach requires expensive optimization for each input. In this work, we propose an optimization-free method for the task of generic image manipulation from text prompts. Our approach exploits recent Latent Diffusion Models (LDM) for text to image generation to achieve zero-shot text guided manipulation. We employ a deterministic forward diffusion in a lower dimensional latent space, and the desired manipulation is achieved by simply providing the target text to condition the reverse diffusion process. We refer to our approach as LDEdit. We demonstrate the applicability of our method on semantic image manipulation and artistic style transfer. Our method can accomplish image manipulation on diverse domains and enables editing multiple attributes in a straightforward fashion. Extensive experiments demonstrate the benefit of our approach over competing baselines.

研究动机与目标

• 开发一种快速且灵活的方法，用于使用任意文本提示进行开放域图像编辑。
• 克服现有方法的局限性，这些方法需要微调，或受限于特定图像类别或编辑任务。
• 使用单一预训练模型实现多属性和艺术风格的零样本编辑。
• 在保持内容一致性和身份特征的同时，实现高推理速度和可扩展性。
• 提供统一框架以支持多种编辑任务，包括局部编辑、全局风格迁移和笔画到图像的转换。

提出的方法

• 利用预训练的潜在扩散模型（LDM）在低维潜在空间中实现文本到图像的生成。
• 采用确定性的前向 DDIM 采样，将源图像编码为共享的潜在表征。
• 在反向扩散过程中，同时基于共享潜在码和目标文本提示生成编辑后的图像。
• 通过受控的随机性，在原始图像保真度与输出多样性之间实现权衡。
• 通过直接使用带有文本条件的预训练 LDM，避免迭代优化或微调。
• 在多种编辑任务中（包括属性编辑和风格迁移）应用相同的模型架构和推理流程。

实验结果

研究问题

• RQ1 是否可以使用单一预训练的 LDM 实现无需任何优化或微调的零样本文本引导图像编辑？
• RQ2 该方法在多样化编辑任务（包括局部属性变化和全局风格迁移）中的泛化能力如何？
• RQ3 与基于优化的基线方法相比，该方法的推理速度和内存效率如何？
• RQ4 与 VQGAN+CLIP 和 DiffusionCLIP 等现有方法相比，用户对 LDEdit 的偏好程度如何？
• RQ5 在修改语义属性的同时，该方法在多大程度上能够保持身份和内容结构？

主要发现

• 在人工评估中，LDEdit 在用户偏好度上达到 83.87%，优于 VQGAN+CLIP，表明其具有出色的感知质量和编辑准确性。
• 与 DiffusionCLIP 相比，LDEdit 的用户偏好度为 49.15%，表明尽管后者经过微调，LDEdit 仍表现出具有竞争力的性能。
• LDEdit 对单张图像的推理时间为 2.02 秒 ± 5.58 毫秒，显著快于 VQGAN+CLIP（4–6 分钟），且与 DiffusionCLIP（4.01 秒–11.54 秒）相当。
• LDEdit 仅需 8.8GB GPU 显存处理单张图像，低于 VQGAN+CLIP 的 10.4GB，且显著低于 DiffusionCLIP（5.4GB）在同等性能下的显存占用。
• 该方法成功实现了对多个属性（如化妆、表情、皱纹）的同步编辑，同时在人脸图像中保持了身份一致性。
• LDEdit 实现了无需掩码的局部编辑，例如仅通过文本提示在帽子或眼镜上添加花朵。