[논문 리뷰] Classifier-Free Diffusion Guidance

Jonathan Ho, Tim Salimans|arXiv (Cornell University)|2022. 07. 26.

Model Reduction and Neural Networks인용 수 731

한 줄 요약

이 논문은 보조 분류기 없이 가이던스를 사용하여 확산 모델에서 샘플의 충실도와 다양성을 공동으로 학습된 조건부 및 무조건부 모델의 점수 추정치를 결합함으로써 trade-off를 가능하게 하는 classifier-free guidance를 도입한다.

ABSTRACT

Classifier guidance is a recently introduced method to trade off mode coverage and sample fidelity in conditional diffusion models post training, in the same spirit as low temperature sampling or truncation in other types of generative models. Classifier guidance combines the score estimate of a diffusion model with the gradient of an image classifier and thereby requires training an image classifier separate from the diffusion model. It also raises the question of whether guidance can be performed without a classifier. We show that guidance can be indeed performed by a pure generative model without such a classifier: in what we call classifier-free guidance, we jointly train a conditional and an unconditional diffusion model, and we combine the resulting conditional and unconditional score estimates to attain a trade-off between sample quality and diversity similar to that obtained using classifier guidance.

연구 동기 및 목표

• diffusion 모델에서 가이던스를 위한 외부 분류기에 대한 의존성을 줄이는 동기를 제공한다.
• 순수 생성 모델로도 조건부 및 무조건부 확산 모델을 공동으로 학습시켜 가이던스를 달성할 수 있음을 보여준다.
• 가이던스 강도를 변화시키면 샘플 품질(IS)과 다양성(FID) 사이의 trade-off가 발생한다.
• classifier-free guidance를 위한 간단하고 실용적인 학습 및 샘플링 절차를 제시하여 classifier-guided 방법과 대등하게 경쟁하도록 한다.

제안 방법

• 조건부 분기를 임의로 p_uncond 확률로 드롭하여 단일 네트워크로 확산 모델을 학습시킨다.
• denoising score ε_θ(z_λ, c)와 ε_θ(z_λ)를 예측하고 샘플링 중에 ε̃_t = (1+w)ε_θ(z_λ, c) − wε_θ(z_λ) 형태의 가이드 점수를 형성한다( classifier-free guidance ).
• 다중 노이즈 스케일 λ에 대해 denoising score matching을 통해 조건부 및 무조건부 구성요소를 함께 학습시키는 공동 목표를 사용한다.
• 훈련 중에 코사인 기반 스케줄에서 λ를 샘플링하고 ε_θ를 손상된 zλ에 대해 실제 ε와 일치시키도록 최적화한다.
• 추론 시 고정된 혼합 가중치 w로 샘플링하여 충실도와 다양성을 트레이드오프한다.
• 이 접근 방식은 제약되지 않은 네트워크에 의존하므로 가이던 점수가 명시적 분류기의 그래디언트에 상응하지 않을 수 있음을 논의한다.

실험 결과

연구 질문

• RQ1 확산 모델에서 별도의 분류기를 학습시키지 않고도 가이던스를 달성할 수 있는가?
• RQ2 무조건부 및 조건부 점수 추정의 혼합이 classifier guidance와 유사한 제어 가능한 IS/FID 트레이드오프를 제공하는가?
• RQ3 classifier-free guidance가 classifier-guided 확산과 비교하여 단순성, 학습 요구사항, 샘플링 효율성 측면에서 어떤 차이가 있는가?
• RQ4 훈련된 무조건 확률 p_uncond 및 가이던스 강도 w가 이미지 품질과 다양성에 미치는 영향은 무엇인가?

주요 결과

• Classifier-free guidance는 가이드 강도 w를 조정하여 classifier guidance와 유사한 제어 가능한 IS/FID 트레이드오프를 달성한다.
• 64×64 ImageNet의 경우 작은 w가 FID를 최적으로 만들고, 더 큰 w가 Inception Score를 개선하여 명확한 충실도-다양성 트레이드오프를 보여준다.
• 128×128 ImageNet의 경우 서로 다른 타임스텝 T에서 경쟁력 있는 FID와 IS를 달성하며, w 값이 0.3–0.4와 같을 때 강한 IS와 양호한 FID를 달성한다.
• 훈련 시 p_uncond를 작게(예: 0.1–0.2) 설정하는 것이 충분하며 효과적인 가이던스를 위해 무조건적 능력이 많지 않아도 됨을 시사한다.
• 가장 강한 가이드 샘플은 더 높은 충실도를 보이지만 다양성은 감소하는 경향이 있어 품질과 다양성 간의 의도된 trade-off와 일치한다.
• 제시된 벤치마크에서 기존 방법과 동등하거나 우수한 IS/FID를 보이며, 비슷한 샘플링 예산에서도 경쟁력 있다.