[论文解读] FreeU: Free Lunch in Diffusion U-Net

Chenyang Si, Ziqi Huang+2 more|arXiv (Cornell University)|Sep 20, 2023

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

FreeU 是一种新颖的推理阶段方法，通过重新加权 U-Net 主干网络和跳跃连接的特征贡献，提升扩散模型的生成质量，无需额外训练、参数或计算成本，即可实现图像和视频生成的更高保真度。该方法通过推理阶段的简单缩放因子，显著提升 Stable Diffusion 和 DreamBooth 等模型的生成质量。

ABSTRACT

In this paper, we uncover the untapped potential of diffusion U-Net, which serves as a "free lunch" that substantially improves the generation quality on the fly. We initially investigate the key contributions of the U-Net architecture to the denoising process and identify that its main backbone primarily contributes to denoising, whereas its skip connections mainly introduce high-frequency features into the decoder module, causing the network to overlook the backbone semantics. Capitalizing on this discovery, we propose a simple yet effective method-termed "FreeU" - that enhances generation quality without additional training or finetuning. Our key insight is to strategically re-weight the contributions sourced from the U-Net's skip connections and backbone feature maps, to leverage the strengths of both components of the U-Net architecture. Promising results on image and video generation tasks demonstrate that our FreeU can be readily integrated to existing diffusion models, e.g., Stable Diffusion, DreamBooth, ModelScope, Rerender and ReVersion, to improve the generation quality with only a few lines of code. All you need is to adjust two scaling factors during inference. Project page: https://chenyangsi.top/FreeU/.

研究动机与目标

• 探究扩散模型中 U-Net 内部动态的未充分研究之处，特别是主干网络与跳跃连接在去噪过程中的不同作用。
• 解决跳跃连接过度主导主干网络，导致语义理解退化及异常细节生成的问题。
• 开发一种在不增加推理成本、训练或模型复杂度的前提下提升样本质量的方法。
• 实现与现有扩散模型的无缝集成，从而在多种文本到图像和文本到视频任务中立即获得质量提升。

提出的方法

• 提出 FreeU，一种简单的推理阶段技术，通过在 U-Net 解码器中对主干网络特征和跳跃连接特征应用可学习的缩放因子。
• 引入两个关键组件：主干特征缩放（b）和跳跃特征缩放（s），以重新平衡主干路径与跳跃连接的贡献。
• 采用基于结构信息的自适应缩放因子图，利用特征图的空间结构指导主干缩放，减少过度平滑现象。
• 利用傅里叶分析揭示去噪过程中高频分量的变化更为显著，从而证明控制跳跃连接贡献的必要性。
• 在每个 U-Net 解码器块中，于特征拼接前的空间中应用重加权，保留主干语义的同时保留高频细节。
• 仅需两个超参数（b 和 s），且可仅通过少量代码修改应用于任意预训练的扩散模型。

实验结果

研究问题

• RQ1 在扩散模型的 U-Net 中，主干网络与跳跃连接在去噪过程中如何以不同方式做出贡献？
• RQ2 为何尽管跳跃连接能增强细节，却仍会导致语义质量下降和异常纹理生成？
• RQ3 能否通过重新加权主干网络相对于跳跃连接的贡献，恢复其去噪能力？
• RQ4 能否在推理阶段采用一种简单、无参数的方法，显著提升样本质量而不增加计算成本？
• RQ5 基于结构信息的自适应缩放对纹理保留与整体图像真实感有何影响？

主要发现

• U-Net 主干网络主要负责去噪，而跳跃连接引入的高频特征可能干扰主干网络的语义表达。
• 仅使用主干特征缩放（b）的 FreeU 即可提升细节真实感，例如在提示词 "A fat rabbit wearing a purple robe..." 下，生成正常四肢的兔子而非扭曲形态。
• 结合主干与跳跃特征缩放（b & s）可减少纹理过度平滑，使提示词 "A synthwave style sunset..." 生成更真实的天空。
• 与固定缩放相比，基于结构信息的缩放因子图可减少过度平滑与颜色过饱和，提升细节保真度。
• 傅里叶分析证实，FreeU 在去噪过程中抑制了过度的高频分量，与去噪目标保持一致。
• FreeU 提升了特征图质量，如图 16 所示，解码器中的表示更加结构化且连贯。