[论文解读] DreamTuner: Single Image is Enough for Subject-Driven Generation

Hua Miao, Jiawei Liu+4 more|arXiv (Cornell University)|Dec 21, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

DreamTuner 提出了一种无需训练、以主体为中心的图像生成方法，仅使用单张参考图像即可实现高保真度的主体身份保留。该方法结合了主体编码器进行粗粒度身份注入以及自主体注意力层以优化细节，相较于现有的微调和编码器方法，在身份保真度与生成质量方面表现更优，且训练步骤极少。

ABSTRACT

Diffusion-based models have demonstrated impressive capabilities for text-to-image generation and are expected for personalized applications of subject-driven generation, which require the generation of customized concepts with one or a few reference images. However, existing methods based on fine-tuning fail to balance the trade-off between subject learning and the maintenance of the generation capabilities of pretrained models. Moreover, other methods that utilize additional image encoders tend to lose important details of the subject due to encoding compression. To address these challenges, we propose DreamTurner, a novel method that injects reference information from coarse to fine to achieve subject-driven image generation more effectively. DreamTurner introduces a subject-encoder for coarse subject identity preservation, where the compressed general subject features are introduced through an attention layer before visual-text cross-attention. We then modify the self-attention layers within pretrained text-to-image models to self-subject-attention layers to refine the details of the target subject. The generated image queries detailed features from both the reference image and itself in self-subject-attention. It is worth emphasizing that self-subject-attention is an effective, elegant, and training-free method for maintaining the detailed features of customized subjects and can serve as a plug-and-play solution during inference. Finally, with additional subject-driven fine-tuning, DreamTurner achieves remarkable performance in subject-driven image generation, which can be controlled by a text or other conditions such as pose. For further details, please visit the project page at https://dreamtuner-diffusion.github.io/.

研究动机与目标

• 解决仅使用一张参考图像时，在主体驱动图像生成中平衡身份保留与生成能力的挑战。
• 克服微调方法会降低预训练模型能力，以及基于编码器的方法因压缩而损失主体细节的局限性。
• 开发一种无需训练、即插即用的机制，在推理过程中保留细粒度的主体细节。
• 实现灵活的、受条件控制的个性化主体生成（例如文本或姿态控制），且用户输入极少。

提出的方法

• 训练一个主体编码器，利用冻结的 CLIP 图像编码器压缩参考图像特征，并在视觉-文本交叉注意力之前通过注意力层注入，以实现粗粒度的身份保留。
• 通过使用预训练的基于深度的 ControlNet，将内容与布局在主体编码器中解耦，防止布局过拟合。
• 通过修改原始自注意力机制，引入自主体注意力层，使其同时从生成图像和参考图像中查询特征，从而实现对主体细节的迭代优化。
• 采用两阶段训练流程：首先，结合 ControlNet 训练主体编码器；其次，通过引入自主体注意力机制进行主体驱动的微调，以增强细节保真度。
• 自主体注意力机制在推理阶段应用，无需额外训练，使其成为一种即插即用的高保真度主体生成解决方案。
• 超参数 β 和 ω_ref 分别控制主体编码器注入强度和自主体注意力强度，最优值分别为 β=0.2 和 ω_ref=10.0。

实验结果

研究问题

• RQ1 单张参考图像是否足以实现无需损害预训练模型生成能力的高保真度、主体驱动图像生成？
• RQ2 如何在扩散生成过程中保留细粒度的主体细节，而无需依赖额外的图像编码器或大量微调？
• RQ3 自注意力机制在多大程度上可通过同时查询生成图像和参考图像来实现主体身份的保留？
• RQ4 在单图像主体生成框架中，粗粒度身份注入与细粒度细节优化之间应如何达到最佳平衡？

主要发现

• DreamTuner 在主体保真度（CLIP-I）方面优于 DreamBooth、Textual Inversion、ELITE 和 MasaCtrl，生成图像与参考图像之间的平均余弦相似度最高。
• 该方法在保持高主体保真度的同时，实现了更优的文本一致性（CLIP-T），表明其在提示遵循与身份保留之间实现了有效平衡。
• 消融研究显示，β=0.2 在身份一致性与可编辑性之间提供了最佳权衡，而 ω_ref=10.0 在不造成质量下降的前提下最大化细节优化。
• 在主体编码器训练过程中移除 ControlNet 会导致布局错位，证实其在内容与布局解耦方面对泛化能力的提升作用。
• 在不掩码参考图像背景的情况下使用自主体注意力会损害生成质量，表明空间感知注意力机制的重要性。
• 自主体注意力机制作为无需训练、即插即用的组件，在推理阶段显著提升了细节保真度，效果显著。