[论文解读] Identity Encoder for Personalized Diffusion

Yu-Chuan Su, Kelvin C. K. Chan+6 more|arXiv (Cornell University)|Apr 14, 2023

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出了一种个性化扩散模型的身份编码器，能够从少量参考图像中提取特定主体的嵌入表示，实现在无需微调的情况下快速、前馈式图像生成。该方法在身份保持和生成质量方面表现优越，用户偏好度超过95%的SOTA基线模型，即使仅使用一张参考图像亦可实现。

ABSTRACT

Many applications can benefit from personalized image generation models, including image enhancement, video conferences, just to name a few. Existing works achieved personalization by fine-tuning one model for each person. While being successful, this approach incurs additional computation and storage overhead for each new identity. Furthermore, it usually expects tens or hundreds of examples per identity to achieve the best performance. To overcome these challenges, we propose an encoder-based approach for personalization. We learn an identity encoder which can extract an identity representation from a set of reference images of a subject, together with a diffusion generator that can generate new images of the subject conditioned on the identity representation. Once being trained, the model can be used to generate images of arbitrary identities given a few examples even if the model hasn't been trained on the identity. Our approach greatly reduces the overhead for personalized image generation and is more applicable in many potential applications. Empirical results show that our approach consistently outperforms existing fine-tuning based approach in both image generation and reconstruction, and the outputs is preferred by users more than 95% of the time compared with the best performing baseline.

研究动机与目标

• 消除个性化图像生成中针对特定身份的微调需求，从而降低计算与存储成本。
• 仅使用少量参考图像（甚至单张图像）即可实现快速、前馈式个性化图像生成。
• 在无需推理时优化的情况下，提升身份保持能力与输出多样性。
• 开发一种可泛化至多种下游任务（如超分辨率和图像修复）的通用框架。
• 通过避免为每个新身份重新训练模型，减轻用户与系统负担。

提出的方法

• 训练一个可学习的身份编码器，从一组目标主体的参考图像中提取紧凑的身份表征。
• 通过多任务目标联合训练编码器与扩散生成器，以平衡身份保持与输出多样性。
• 引入身份保持约束，确保同一身份的嵌入凸包在嵌入空间中代表同一主体。
• 提出软最近邻身份损失，以在嵌入空间中对齐同一身份的嵌入表示。
• 采用与身份无关的联合训练方案，引入大规模人脸数据集（如FFHQ）以提升泛化能力与嵌入质量。
• 模型支持无需优化的推理，可生成多样化且个性化的图像，条件为编码后的身份表征。

Figure 1: Given reference images of a subject, our goal is to learn an identity encoder and a diffusion generator such that the identity encoder can extract an identity representation from the references, and the diffusion generator can generate diverse images of the subject conditioning on the repr

实验结果

研究问题

• RQ1 基于前馈式编码器的方法是否可在无需为每个身份微调的情况下实现个性化图像生成？
• RQ2 当仅提供一张或少量参考图像时，身份编码器的泛化能力如何？
• RQ3 在个性化扩散模型中，哪些训练组件对平衡身份保持与输出多样性至关重要？
• RQ4 所提方法是否能在生成质量与用户偏好度方面均优于基于微调的基线模型？
• RQ5 该模型在超分辨率与图像修复等下游任务中，能否在提升身份保真度的同时实现良好扩展？

主要发现

• 在人工评估中，该方法相较于最佳性能基线模型，用户偏好度超过95%。
• 在FID指标与用户研究中，该模型在图像生成与重建质量方面均持续优于基于微调的方法。
• 仅使用一张参考图像时，该模型仍能保持高身份保真度，而微调基线模型在参考图像减少时性能显著下降。
• 消融实验证实，身份保持约束、软最近邻损失与多任务学习三项核心组件对实现最优性能均不可或缺。
• 该模型在超分辨率与图像修复等下游任务中表现出良好泛化能力，在保持高图像质量的同时有效保留身份特征。
• 该方法推理速度最高可达基线微调方法的29倍，完全消除了推理时的优化需求。

Figure 2: Instead of learning an one-to-one mapping between the embedding and image space (top panel), the identity encoder learns a set-to-set mapping. Different combinations of reference images all correspond to the identity representation of the same subject, and each identity embedding maps to a