[论文解读] FreeDoM: Training-Free Energy-Guided Conditional Diffusion Model

Jiwen Yu, Yinhuai Wang+3 more|arXiv (Cornell University)|Mar 17, 2023

Advanced Neuroimaging Techniques and Applications被引用 5

一句话总结

FreeDoM 提出了一种无需训练、基于能量引导的条件扩散模型，利用预训练的、与时间无关的网络构建能量函数，以在不微调模型的情况下引导图像生成。该方法可在多种条件（如文本、语义分割图、人脸ID、草图）下实现灵活且低成本的控制，无需重新训练，在条件图像生成任务中实现了最先进性能，同时推理开销极低，并与图像和潜在扩散模型具有广泛的兼容性。

ABSTRACT

Recently, conditional diffusion models have gained popularity in numerous applications due to their exceptional generation ability. However, many existing methods are training-required. They need to train a time-dependent classifier or a condition-dependent score estimator, which increases the cost of constructing conditional diffusion models and is inconvenient to transfer across different conditions. Some current works aim to overcome this limitation by proposing training-free solutions, but most can only be applied to a specific category of tasks and not to more general conditions. In this work, we propose a training-Free conditional Diffusion Model (FreeDoM) used for various conditions. Specifically, we leverage off-the-shelf pre-trained networks, such as a face detection model, to construct time-independent energy functions, which guide the generation process without requiring training. Furthermore, because the construction of the energy function is very flexible and adaptable to various conditions, our proposed FreeDoM has a broader range of applications than existing training-free methods. FreeDoM is advantageous in its simplicity, effectiveness, and low cost. Experiments demonstrate that FreeDoM is effective for various conditions and suitable for diffusion models of diverse data domains, including image and latent code domains.

研究动机与目标

• 解决需要微调的条件扩散模型带来的高昂成本和灵活性不足的问题，这些模型在新增条件时需要重新训练。
• 开发一种可泛化的、无需训练的方法，支持广泛的条件生成任务，且无需模型微调。
• 利用现成的预训练网络构建与时间无关的能量函数，实现高效且有效的条件控制。
• 支持多种数据领域，包括图像和潜在扩散模型，且计算开销极低。

提出的方法

• FreeDoM 使用预训练模型（如人脸检测器、CLIP）构建与时间无关的能量函数，以在不训练的情况下引导扩散采样过程。
• 通过导数步骤将能量函数的梯度整合到反向扩散过程中，仅对原始采样循环进行最小修改，即可实现条件生成。
• 采用时间回溯策略，减少采样步数，加速推理，同时保持高质量生成。
• 通过公式 (12) 中的加权聚合方式组合独立的能量函数，实现多条件控制，支持灵活的条件融合。
• 利用现成模型近似能量函数，确保在多种条件（如语义分割图、草图、风格图像）下具有广泛适用性和低成本。
• 该方法与图像和潜在扩散模型均兼容，无需重新训练即可在不同数据领域中使用。

实验结果

研究问题

• RQ1 无需训练的条件扩散模型是否能有效引导多种无关条件下的图像生成，且无需重新训练？
• RQ2 使用预训练能量函数的无训练方法在条件图像生成中与需要训练的基线方法相比表现如何？
• RQ3 所提出的能量引导采样策略在降低推理成本的同时，能在多大程度上保持高质量图像生成？
• RQ4 通过学习率参数调节条件引导强度时，该方法的可扩展性和可控性如何？
• RQ5 该方法能否在不降低性能的前提下，有效融合多个独立条件（如文本和人脸ID）？

主要发现

• FreeDoM 在文本到图像生成任务中，无论是条件对齐还是图像质量方面，均优于需要训练的方法 TediGAN，FID（55.91 vs. 71.71）和距离（10.83 vs. 12.31）均更低。
• 在风格引导生成中，FreeDoM 与参考风格图像的对齐效果显著优于 UGD，且在单张 512×512 图像上实现 30 倍加速（84 秒 vs. 40 分钟）。
• 该方法在控制强度上表现出良好的可扩展性：提高能量函数的学习率可让用户调节条件引导的强度，如图 10 所示。
• FreeDoM 支持多种条件（包括语义分割图、草图、文本、人脸ID和风格图像），且无需重新训练或微调模型。
• 该方法在不同数据领域（包括无条件 ImageNet 和人脸扩散模型）中均保持强劲性能，证实其泛化能力。
• 尽管在处理冲突或细粒度结构条件（如 Canny 边缘）方面存在局限，FreeDoM 仍为大多数条件生成任务提供了稳健且低成本的替代方案。