[논문 리뷰] C$^2$FG: Control Classifier-Free Guidance via Score Discrepancy Analysis

Jiayang Gao, Tianyi Zheng외 10명|arXiv (Cornell University)|2026. 03. 09.

Model Reduction and Neural Networks인용 수 0

한 줄 요약

본 논문은 classifier-free guidance(CFG)를 이론적으로 분석하고, 조건부와 비조건부 분포 간의 점수 불일수에 대한 경계를 증명하며, 훈련이 필요 없는 시간 의존적, 지수적 감소 지침인 C2FG를 도입한다—다중 태스크와 백본에 걸쳐 확산모형의 조건부 생성을 향상시킨다.

ABSTRACT

Classifier-Free Guidance (CFG) is a cornerstone of modern conditional diffusion models, yet its reliance on the fixed or heuristic dynamic guidance weight is predominantly empirical and overlooks the inherent dynamics of the diffusion process. In this paper, we provide a rigorous theoretical analysis of the Classifier-Free Guidance. Specifically, we establish strict upper bounds on the score discrepancy between conditional and unconditional distributions at different timesteps based on the diffusion process. This finding explains the limitations of fixed-weight strategies and establishes a principled foundation for time-dependent guidance. Motivated by this insight, we introduce extbf{Control Classifier-Free Guidance (C$^2$FG)}, a novel, training-free, and plug-in method that aligns the guidance strength with the diffusion dynamics via an exponential decay control function. Extensive experiments demonstrate that C$^2$FG is effective and broadly applicable across diverse generative tasks, while also exhibiting orthogonality to existing strategies.

연구 동기 및 목표

• 확산 과정에서 시간에 따라 변하는 조건부-비조건부 점수 차이로 인해 고정된 CFG 가중치가 왜 최적이 아닌지 동기를 부여한다.
• VP-SDE와 VE-SDE에 대한 점수 차이에 대한 엄격한 상한을 제시하여 시간 의존적 지침 전략의 타당성을 뒷받침한다.
• 확산 역학과 일치하는 지수 감소 가이던스 함수가 있는 훈련 없이 사용하는 C2FG를 제안한다.
• 다양한 확산 백본(예: Stable Diffusion, EDM2, U-ViT, DiT, SiT)과 태스크(이미지 및 텍스트-투-이미지)에서 C2FG의 효과를 입증한다.
• C2FG가 기존 CFG 개선(예: 구간 가이던스) 및 샘플러(SDE/ODE)와의 직교성과 호환성을 보임을 보인다.

제안 방법

• VP-SDE 및 VE-SDE에 대한 조건부와 비조건부 점수 차이의 이론적 경계(정리 1 및 정리 2)로, 시간이 지남에 따라 불일치가 지수적으로 감소함을 보인다.
• Harnack형 부등식을 이용한 점수 불일치와 PDF 진화의 해석(정리 3 및 정리 4)을 통해 시간 가변 가이던스 가중치를 고무한다.
• 제어형 Classifier-Free Guidance(C2FG) 설계: 고정 CFG 가중치를 지수 감소 제어 함수 ω(t) = ω0 exp(λ(1 - t/tmax))로 대체한다.
• 샘플링에 C2FG를 통합하는 방식: ε̂_c^ω(x_t) = ε̂_∅(x_t) + ω(t)[ε̂_c(x_t) − ε̂_∅(x_t)].
• 구간 가이던스를 C2FG 프레임워크의 특수한 경우로 이론적으로 해석하여 기존 전략들과의 유연한 조합을 가능하게 한다.
• 다수의 백본 및 샘플러(SDE/ODE)에서 작동하는 훈련 없이 구현.

실험 결과

연구 질문

• RQ1 CFG에서 조건부 및 비조건부 분포 간의 점수 차이가 VP-SDE 및 VE-SDE 전반에서 엄격하게 상한될 수 있는가?
• RQ2 확산 타임라인에서 조건부-비조건부 점수 차이가 어떻게 진화하는가, 그리고 이것이 원리적 시간 의존 가이드 전략을 이끌 수 있는가?
• RQ3 훈련 없이 작동하는 시간 의존 가이드 가중치가 다양한 확산 구조와 작업에서 조건부 생성 품질을 향상시킬 수 있는가?
• RQ4 제안된 C2FG 메커니즘이 기존 CFG 개선(예: 구간 가이던스) 및 다양한 샘플러와 직교하고 호환되는가?
• RQ5 실험적 결과가 이론적 경계를 뒷받침하고 최첨단 성능 개선을 보여주는가?

주요 결과

모델	FID	IS	sFID	정밀도	재현율
blackDiT-XL/2 (ω=1.5, ODE sampler)	2.29	276.8	4.6	0.83	0.57
DiT-XL/2 (Rectified Diffusion, ω=1.5, ODE)	2.13	/	/	0.83	0.58
DiT-XL/2 + Ours (ω0=1,λ=ln 2, ODE)	2.07	291.5	4.6	0.83	0.59
gray SiT-XL/2 (REPA)(ω=1.35, SDE)	1.80	284.0	4.5	0.81	0.61
SiT-XL/2 (REPA) + Ours (ω0=1,λ=1, SDE)	1.51	315.0	4.6	0.80	0.62
gray SiT-XL/2 (REPA, Interval)(ω=1.8, tl=0, th=0.7, SDE)	1.42	305.7	4.7	0.80	0.65
SiT-XL/2 (REPA, Interval) + Ours (ω0=1.8, λ=0.03, SDE)	1.41	308.0	4.7	0.80	0.65
gray SiT-XL/2 (REPA)(ω=1.8, ODE)	3.64	366.0	4.9	0.86	0.54
SiT-XL/2 (REPA)+Ours (ω0=1.7, λ=0.15, ODE)	3.40	364.2	4.7	0.86	0.55
gray SiT-XL/2 (REPA, Interval)(ω=1.8, tl=0, th=0.7, ODE)	1.56	283.1	4.6	0.78	0.66
SiT-XL/2 (REPA, Interval) + Ours (ω0=1.8, λ=0.03, ODE)	1.54	286.0	4.6	0.78	0.66
gray SiT-XL/2 (REPA)(ω=1.8, ODE)	3.64	366.0	4.9	0.86	0.54
SiT-XL/2 (REPA, Interval) + Ours (ω0=1.7, λ=0.15, ODE)	3.40	364.2	4.7	0.86	0.55
gray SiT-XL/2 (REPA, Interval)(ω=1.8, tl=0, th=0.7, ODE)	1.56	283.1	4.6	0.78	0.66
SiT-XL/2 (REPA, Interval) + Ours (ω0=1.8, λ=0.03, ODE)	1.54	286.0	4.6	0.78	0.66
gray SiT-XL/2 (REPA)(ω=1.8, ODE)	3.64	366.0	4.9	0.86	0.54
SiT-XL/2 (REPA, Interval) + Ours (ω0=1.8, λ=0.03, ODE)	1.54	286.0	4.6	0.78	0.66

• 조건부 출력과 비조건부 출력 간의 점수 차이가 재매개변수화된 확산 시간에서 시간에 따라 지수적으로 감소함으로써 시간 의존 가이던스 가중치를 정당화한다.
• 정리 1–2의 이론적 경계는 VP-SDE와 VE-SDE에 적용되며 고정 CFG 가중치의 한계를 설명한다.
• Harnack-type PDF 불평등(정리 3–4)은 밀도 진화에 대한 보완적 통찰을 제공하고 지수적 가이던스 스케줄을 지지한다.
• 훈련 없이 작동하는 지수 감소 가이드 함수인 C2FG는 다양한 샘플링 체계와 백본에 매끄럽게 통합되어 작업 간 FID/IS를 향상시킨다.
• 실험적 결과는 C2FG가 Diffusion 아키텍처(DiT, SiT, U-ViT, EDM2, Stable Diffusion)와 데이터세트(ImageNet, MS-COCO)에서 체계적 이득을 보이며 강력한 기준선보다 종종 우수하고 구간 가이던스와 직교함을 보여준다.
• C2FG는 ODE/SDE 샘플러와 고해상도 설정에서도 효과적이어서 견고성과 일반성을 시사한다.