Skip to main content
QUICK REVIEW

[论文解读] C$^2$FG: Control Classifier-Free Guidance via Score Discrepancy Analysis

Jiayang Gao, Tianyi Zheng|arXiv (Cornell University)|Mar 9, 2026
Model Reduction and Neural NetworksPhysics and Astronomy被引用 0
一句话总结

该论文在理论上分析 classifier-free guidance (CFG),证明条件分布与无条件分布之间的分数差异有界,并引入 C2FG——一种无需训练、随时间衰减的引导方法,在不同任务与骨架上提升扩散模型的条件生成效果。

ABSTRACT

Classifier-Free Guidance (CFG) is a cornerstone of modern conditional diffusion models, yet its reliance on the fixed or heuristic dynamic guidance weight is predominantly empirical and overlooks the inherent dynamics of the diffusion process. In this paper, we provide a rigorous theoretical analysis of the Classifier-Free Guidance. Specifically, we establish strict upper bounds on the score discrepancy between conditional and unconditional distributions at different timesteps based on the diffusion process. This finding explains the limitations of fixed-weight strategies and establishes a principled foundation for time-dependent guidance. Motivated by this insight, we introduce extbf{Control Classifier-Free Guidance (C$^2$FG)}, a novel, training-free, and plug-in method that aligns the guidance strength with the diffusion dynamics via an exponential decay control function. Extensive experiments demonstrate that C$^2$FG is effective and broadly applicable across diverse generative tasks, while also exhibiting orthogonality to existing strategies.

研究动机与目标

  • 由于扩散过程中的时间变化导致条件-无条件分数差异,固定 CFG 权重存在次优性,因此给出动机。
  • 对 VP-SDE 和 VE-SDE 的分数差异给出严格的上界,以支撑时间相关的引导策略。
  • 提出 C2FG,一种无需训练的方法,其指数衰减的引导函数与扩散动力学一致。
  • 展示 C2FG 在多种扩散骨架(如 Stable Diffusion、EDM2、U-ViT、DiT、SiT)与任务(图像与文本到图像)上的有效性。
  • 证明 C2FG 与现有 CFG 增强(如区间引导)以及采样器(SDE/ODE)的正交性与兼容性。

提出的方法

  • 针对 VP-SDE 和 VE-SDE,给出条件分数与无条件分数之差的理论界(定理 1、2),并显示差异随时间呈指数衰减。
  • 通过 Harnack 型不等式对分数差异与概率密度函数(PDF)演化进行解释(定理 3、4),以支持时间变化的引导权重。
  • 设计 Control Classifier-Free Guidance (C2FG):用指数衰减控制函数 ω(t) = ω0 exp(λ(1 - t/tmax)) 取代固定 CFG 权重。
  • 在采样中的整合为:ε̂_c^ω(x_t) = ε̂_∅(x_t) + ω(t)[ε̂_c(x_t) − ε̂_∅(x_t)]。
  • 在 C2FG 框架内将区间引导视为一个特殊情况,支持与现有策略的灵活结合。
  • 无需训练的实现,兼容多种骨架与采样器(SDE/ODE)。

实验结果

研究问题

  • RQ1是否可以对 CFG 中条件分布与无条件分布之间的分数差异在 VP-SDE 与 VE-SDE 中给出严格的上界?
  • RQ2扩散时间线中条件-无条件分数差异如何演化,是否能据此引导一个 principled 的时间相关引导策略?
  • RQ3是否存在一种无需训练、随时间变化的引导权重,能够在多种扩散结构与任务中提升条件生成质量?
  • RQ4所提出的 C2FG 机制是否与现有 CFG 增强(如区间引导)及不同采样器正交且兼容?
  • RQ5实证结果是否支持理论界限并展现出色的性能提升?

主要发现

  • 条件输出的分数差异在重新参数化的扩散时间中指数衰减,支撑时间相关引导权重的合理性。
  • 定理1–2 的理论界对 VP-SDE 与 VE-SDE 均成立,解释了固定 CFG 权重的局限性。
  • Harnack 型的 PDF 不等式(定理 3–4)对密度演化提供互补见解,支持指数引导调度。
  • C2FG——一个无需训练的指数衰减引导函数,能无缝融入多种采样方案与骨架,在各任务上提升 FID/IS。
  • 实证结果显示 C2FG 在 Diffusion 架构(DiT、SiT、U-ViT、EDM2、Stable Diffusion)与数据集(ImageNet、MS-COCO)上带来系统性提升,通常优于强基线,并与区间引导正交。
  • C2FG 对 ODE/SDE 采样器与高分辨率设置仍然有效,表明鲁棒性与通用性。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。