[论文解读] DiffFit: Unlocking Transferability of Large Diffusion Models via Simple Parameter-Efficient Fine-Tuning

Enze Xie, Lewei Yao+6 more|arXiv (Cornell University)|Apr 13, 2023

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

DiffFit 提出了一种针对大型扩散模型的参数高效微调方法，仅更新特定层中的偏置项和缩放因子，与全量微调相比，训练速度提升2倍，参数存储成本仅为0.12%。通过仅从256×256检查点微调25个周期，该方法在ImageNet 512×512上实现了新的SOTA FID得分3.02，训练效率比最接近的竞争对手高出30倍。

ABSTRACT

Diffusion models have proven to be highly effective in generating high-quality images. However, adapting large pre-trained diffusion models to new domains remains an open challenge, which is critical for real-world applications. This paper proposes DiffFit, a parameter-efficient strategy to fine-tune large pre-trained diffusion models that enable fast adaptation to new domains. DiffFit is embarrassingly simple that only fine-tunes the bias term and newly-added scaling factors in specific layers, yet resulting in significant training speed-up and reduced model storage costs. Compared with full fine-tuning, DiffFit achieves 2$ imes$ training speed-up and only needs to store approximately 0.12\% of the total model parameters. Intuitive theoretical analysis has been provided to justify the efficacy of scaling factors on fast adaptation. On 8 downstream datasets, DiffFit achieves superior or competitive performances compared to the full fine-tuning while being more efficient. Remarkably, we show that DiffFit can adapt a pre-trained low-resolution generative model to a high-resolution one by adding minimal cost. Among diffusion-based methods, DiffFit sets a new state-of-the-art FID of 3.02 on ImageNet 512$ imes$512 benchmark by fine-tuning only 25 epochs from a public pre-trained ImageNet 256$ imes$256 checkpoint while being 30$ imes$ more training efficient than the closest competitor.

研究动机与目标

• 为高效适应大规模预训练扩散模型到新领域提供解决方案。
• 在扩散模型微调过程中降低训练时间和模型存储成本。
• 实现低分辨率预训练模型到高分辨率生成的快速适应，且额外参数极少。
• 在保持高参数效率的同时，实现在下游基准上的最先进性能。

提出的方法

• DiffFit 仅微调扩散模型特定层中的偏置项和新添加的缩放因子。
• 该方法在残差块中引入可学习的缩放因子，这些因子在微调过程中被更新，而主网络权重保持冻结。
• 缩放因子应用于残差连接之前的功能图，从而在适应过程中实现动态特征调制。
• 该方法具有参数高效性，因为仅更新了总参数量的极小部分（约0.12%）。
• 理论分析表明，缩放因子通过调制特征表示实现快速适应，而无需对整个网络进行重新训练。
• 该方法支持通过添加极少可学习参数，实现从低分辨率到高分辨率生成的零样本适应。

实验结果

研究问题

• RQ1 参数高效的微调策略是否能在显著降低训练成本和存储成本的同时，实现下游扩散任务的竞争力表现？
• RQ2 可学习的缩放因子和偏置项在实现预训练扩散模型快速适应方面有多高效？
• RQ3 能否使用极少的额外参数，高效地将低分辨率预训练扩散模型适配到高分辨率生成任务？
• RQ4 在微调大型扩散模型时，参数效率与性能之间的权衡如何？
• RQ5 与全量微调及其他参数高效基线方法相比，所提出方法在FID和训练效率方面是否表现更优？

主要发现

• DiffFit 在ImageNet 512×512基准上实现了新的SOTA FID得分3.02，优于以往方法。
• 与全量微调相比，该方法将训练时间减少了一半，仅更新了0.12%的模型参数。
• DiffFit 实现了从256×256预训练模型到512×512生成的高效迁移，训练效率比最接近的竞争对手高出30倍。
• 在8个下游数据集上，DiffFit 的性能优于或与全量微调相当。
• 该方法成功地以极低的参数开销，将低分辨率扩散模型适配到高分辨率生成任务。
• 理论分析证实，缩放因子能有效调制特征表示，从而实现快速且稳定的适应。