[论文解读] Few-shot Image Generation with Diffusion Models

Jingyuan Zhu, Huimin Ma+2 more|arXiv (Cornell University)|Nov 7, 2022

Generative Adversarial Networks and Image Synthesis被引用 14

一句话总结

本文提出DDPM-PA，一种用于少样本图像生成的新型成对微调方法，基于扩散模型。通过在微调过程中保持样本间的相对距离并增强高频细节，DDPM-PA显著提升了直接微调的DDPM模型以及当前最先进的基于GAN的方法的多样性与质量，尤其在低数据设置下表现更优。

ABSTRACT

Denoising diffusion probabilistic models (DDPMs) have been proven capable of synthesizing high-quality images with remarkable diversity when trained on large amounts of data. However, to our knowledge, few-shot image generation tasks have yet to be studied with DDPM-based approaches. Modern approaches are mainly built on Generative Adversarial Networks (GANs) and adapt models pre-trained on large source domains to target domains using a few available samples. In this paper, we make the first attempt to study when do DDPMs overfit and suffer severe diversity degradation as training data become scarce. Then we fine-tune DDPMs pre-trained on large source domains to solve the overfitting problem when training data is limited. Although the directly fine-tuned models accelerate convergence and improve generation quality and diversity compared with training from scratch, they still fail to retain some diverse features and can only produce coarse images. Therefore, we design a DDPM pairwise adaptation (DDPM-PA) approach to optimize few-shot DDPM domain adaptation. DDPM-PA efficiently preserves information learned from source domains by keeping the relative pairwise distances between generated samples during adaptation. Besides, DDPM-PA enhances the learning of high-frequency details from source models and limited training data. DDPM-PA further improves generation quality and diversity and achieves results better than current state-of-the-art GAN-based approaches. We demonstrate the effectiveness of our approach on a series of few-shot image generation tasks qualitatively and quantitatively.

研究动机与目标

• 研究在训练数据稀缺时扩散模型中的过拟合与多样性退化问题。
• 解决直接微调DDPM模型在少样本条件下生成粗糙、低多样性样本的局限性。
• 开发一种在仅使用少量图像的情况下，既能保留源域知识又能适应目标域的方法。
• 在当前基于GAN的少样本适配方法之上，进一步提升生成质量和多样性。

提出的方法

• 引入一种成对相似性损失，以在微调过程中保持生成样本之间的相对距离，从而维持多样性。
• 设计一种高频细节增强机制，结合源模型知识与有限的目标数据。
• 通过在少量目标数据上微调预训练的DDPM，同时优化多样性与细节保真度。
• 使用最近邻-LPIPS度量来定量评估微调过程中的多样性。
• 采用改进的训练目标，平衡重建损失、多样性与高频细节学习。
• 利用哈尔小波变换分析并保留生成图像中的高频分量。

实验结果

研究问题

• RQ1 当训练数据变得稀缺时，DDPM模型在何时开始出现过拟合并丧失多样性？
• RQ2 为何直接微调的DDPM模型在数据有限时仍无法生成高质量、多样化的图像？
• RQ3 在少样本域适应过程中，如何保持生成样本之间的相对结构关系？
• RQ4 仅使用少量目标样本，能否有效增强高频细节？
• RQ5 所提出的方法是否优于当前最先进的基于GAN的少样本图像生成方法？

主要发现

• 在10-shot图像生成任务中，DDPM-PA在图像质量和多样性方面均优于直接微调的DDPM模型以及最先进的基于GAN的方法。
• 该方法减少了过拟合现象，并避免了直接微调DDPM模型常见的粗糙、模糊输出。
• DDPM-PA在保留源域基本结构的同时，有效学习了目标域的风格，尤其在教堂到风景素描等复杂风格迁移任务中表现优异。
• 该方法通过Nearest-LPIPS度量显著提升了生成多样性，且未牺牲样本质量。
• DDPM-PA提升了收敛速度与最终性能，得益于预训练模型的初始化，仅需3K–5K次迭代即可达到良好效果。
• 尽管性能增强，该方法的训练时间仅比标准DDPM增加24.14%，计算效率较高。