[论文解读] DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

Nataniel Ruiz, Yuanzhen Li+4 more|arXiv (Cornell University)|Aug 25, 2022

Generative Adversarial Networks and Image Synthesis被引用 108

一句话总结

DreamBooth 使用少量主体图像对预训练的文本到图像扩散模型进行微调，以将唯一标识绑定到该主体，从而在保留主体身份的同时生成新的、情境丰富的渲染。

ABSTRACT

Large text-to-image models achieved a remarkable leap in the evolution of AI, enabling high-quality and diverse synthesis of images from a given text prompt. However, these models lack the ability to mimic the appearance of subjects in a given reference set and synthesize novel renditions of them in different contexts. In this work, we present a new approach for "personalization" of text-to-image diffusion models. Given as input just a few images of a subject, we fine-tune a pretrained text-to-image model such that it learns to bind a unique identifier with that specific subject. Once the subject is embedded in the output domain of the model, the unique identifier can be used to synthesize novel photorealistic images of the subject contextualized in different scenes. By leveraging the semantic prior embedded in the model with a new autogenous class-specific prior preservation loss, our technique enables synthesizing the subject in diverse scenes, poses, views and lighting conditions that do not appear in the reference images. We apply our technique to several previously-unassailable tasks, including subject recontextualization, text-guided view synthesis, and artistic rendering, all while preserving the subject's key features. We also provide a new dataset and evaluation protocol for this new task of subject-driven generation. Project page: https://dreambooth.github.io/

研究动机与目标

• 探讨如何从少量图像个性化文本到图像扩散模型，以模拟特定主体。
• 将唯一标识绑定到一个主体，使其能够在由文本提示引导的新情境中被合成。
• 在微调过程中通过类特定先验保持损失来缓解语言漂移和多样性丧失。
• 展示在保持主体保真度的同时的主体再上下文化、视图合成和艺术渲染。
• 提供一个主体驱动生成的数据集和评估协议。

提出的方法

• 使用包含唯一标识符和类别名的提示语（如“A [V] dog”）将3-5张主体图像配对，微调预训练的扩散模型。
• 用稀有标记标识符来表示主体，以最小化来自常见语言的先验并促进绑定到主体。
• 使用一个类特定的先验保持损失，用它自身生成的样本来监督模型，以防止语言漂移并保持先验多样性。
• 训练模型的所有层以最大化保真度并实现多样化输出，迭代次数适中（≈1000）且数据集较小。
• 使用 DINO 和 CLIP-I 评估主体保真度，使用 CLIP-T 评估提示保真度，以及一项与基线比较的用户研究。
• 提供一个包含30个主体（对象和生活主体）和25个提示的数据集，每个主体/提示4张图片（总计约3,000张图片）。

Figure 2 : Subject-driven generation. Given a particular clock (left), it is hard to generate it while maintaining high fidelity to its key visual features (second and third columns showing DALL-E2 [ 54 ] image-guided generation and Imagen [ 61 ] text-guided generation; text prompt used for Imagen:

实验结果

研究问题

• RQ1 扩散模型是否可以从少量图像中个性化为特定主体而不丧失其先验知识？
• RQ2 将稀有标识符标记绑定到主体是否能够在新情境中实现忠实且多样化的生成？
• RQ3 在微调过程中，类特定的先验保持损失在防止语言漂移和维持先验多样性方面有多有效？
• RQ4 在主体保真度和提示保真度方面，DreamBooth 相对于现有基线的定量和人工评估收益是什么？
• RQ5 哪些数据集和评估协议能现实地衡量基于主体驱动的生成性能？

主要发现

• DreamBooth with Imagen 在主体保真度和提示保真度方面均高于 DreamBooth with Stable Diffusion，并在两个指标上优于 Textual Inversion。
• 一项用户研究显示在多个提示下，DreamBooth 在主体保真度和提示保真度方面优于 Textual Inversion。
• 自生先验保持损失有助于对抗语言漂移并维持先验多样性，从而实现更丰富的主体渲染。
• 使用所提出的损失进行训练，在合适的硬件上大约5分钟即可实现对3-5张图像的有效个性化。
• DreamBooth 能实现再情境化、新视图合成和属性修改，同时保持主体身份。
• 提供一个新的主体驱动生成数据集和评估协议，以支持未来的研究。

Figure 3 : Fine-tuning. Given $\sim 3-5$ images of a subject we fine-tune a text-to-image diffusion model with the input images paired with a text prompt containing a unique identifier and the name of the class the subject belongs to (e.g., “A [V] dog”), in parallel, we apply a class-specific prior