[논문 리뷰] Common Diffusion Noise Schedules and Sample Steps are Flawed

Shanchuan Lin, Bingchen Liu외 2명|arXiv (Cornell University)|2023. 05. 15.

Advanced Neuroimaging Techniques and Applications인용 수 10

한 줄 요약

이 논문은 일반적인 디퓨전 노이즈 스케줄과 샘플러 시작 지점의 결함을 식별하고, 훈련/추론 불일치 및 밝기 편향을 보여주며, 수정안을 제시한다: 터미널 SNR 제로 스케줄, v-예측, 마지막 타임스텝에서 시작, 분류기 없는 가이던스 재스케일링.

ABSTRACT

We discover that common diffusion noise schedules do not enforce the last timestep to have zero signal-to-noise ratio (SNR), and some implementations of diffusion samplers do not start from the last timestep. Such designs are flawed and do not reflect the fact that the model is given pure Gaussian noise at inference, creating a discrepancy between training and inference. We show that the flawed design causes real problems in existing implementations. In Stable Diffusion, it severely limits the model to only generate images with medium brightness and prevents it from generating very bright and dark samples. We propose a few simple fixes: (1) rescale the noise schedule to enforce zero terminal SNR; (2) train the model with v prediction; (3) change the sampler to always start from the last timestep; (4) rescale classifier-free guidance to prevent over-exposure. These simple changes ensure the diffusion process is congruent between training and inference and allow the model to generate samples more faithful to the original data distribution.

연구 동기 및 목표

• 일반적인 디퓨전 노이즈 스케줄이 어떻게 제로 터미널 SNR을 강제하지 못하고 이로 인해 훈련/추론 불일치가 발생하는지 식별한다.
• 마지막 타임스텝에서 시작하지 않는 샘플러 구현이 밝기 편향을 어떻게 악화시키는지 보여준다.
• 훈련과 추론을 일치시키고 샘플 품질을 향상시키기 위한 실용적인 수정책을 제안한다.
• Stable Diffusion 계열 및 표준 데이터셋에서의 훈련과 평가를 통해 수정안을 검증한다.

제안 방법

• sqrt(alpha_bar) 공간에서 기존 노이즈 스케줄을 재스케일링하여 터미널 SNR을 제로로 강제한다 (알고리즘 1).
• 터미널 SNR이 제로일 때 의미 있는 가이던스 제공을 위해 v-예측과 v-손실로 전환한다 (식 11–12).
• 훈련/추론의 정합성을 위해 샘플러가 마지막 타임스텝에서 시작하도록 요구한다 (표 2 참조 및 섹션 3.3).
• 과도한 노출을 방지하기 위한 분류기 없는 가이던스 재스케일링을 제안한다 (식 13–16, 알고리즘 2).
• 제안된 스케줄 및 샘플링 전략으로 모델을 훈련하고, Qual/Quan 측면에서 기준 Stable Diffusion과 비교한다 (섹션 4).
• v-예측과 에psilon의 올바른 처리, 제로 SNR에서 epsilon 기반 공식을 피하는 방법을 논의한다 (섹션 6).

(a) Flawed

실험 결과

연구 질문

• RQ1 일반적인 디퓨전 노이즈 스케줄이 마지막 타임스텝에서 0이 아닌 SNR를 허용하여 훈련/추론 불일치를 초래하는가?
• RQ2 샘플링을 마지막 타임스텝에서 시작하는 것이 훈련과 추론 간 정합성을 개선하고 달성 가능한 밝기 범위를 넓혀주는가?
• RQ3 간단한 스케줄 재스케일링, v-예측, CFG 재스케일링이 Stable Diffusion에서 관찰된 밝기 및 노출 문제를 해결할 수 있는가?
• RQ4 제안된 변화가 정량적 분포 정렬(FID/IS) 및 정성적 샘플 다양성에 어떤 영향을 미치는가?
• RQ5 터미널 SNR이 0일 때 샘플러 구현에 대한 실용적 고려사항은 무엇인가?

주요 결과

• 제로 터미널 SNR 스케줄은 최종 단계에서 저주파 신호 누출을 제거하여 훈련과 추론을 정렬한다.
• V-prediction은 터미널 SNR이 제로일 때 의미 있는 손실 가이던스를 유지하며, epsilon 예측과 유사한 시각적 품질을 보인다.
• 제로-터미널-SNR 스케줄하에서 훈련과의 일관성을 위해 샘플러를 마지막 타임스텝에서 시작하는 것이 중요하다.
• Classifier-free guidance 재스케일링은 터미널 SNR이 0에 접근함에 따라 과노출을 완화한다(φ가 [0.5,0.75]인 경우가 나타난다).
• 수정으로 미세조정된 모델은 COCO 2014 검증에서 FID/IS가 향상: 21.66 (FID) 및 36.16 (IS) 대 23.76과 32.84 (공식 SD v2.1-base).
• S가 작을 때는 Linspace보다 후속 샘플 스텝 선택이 더 효율적이며, S가 커지면 차이가 줄어든다.

(b) Corrected