[논문 리뷰] On the Importance of Noise Scheduling for Diffusion Models

Ting Chen|arXiv (Cornell University)|2023. 01. 26.

Advanced Neuroimaging Techniques and Applications인용 수 33

한 줄 요약

이 논문은 확산 모델의 노이즈 스케줄링 전략을 실증적으로 분석하고, 고정된 스케줄과 입력 스케일링을 결합한 간단한 복합 전략을 제안하며, RIN 아키텍처를 사용할 때 픽셀 기반 단일 단계의 고해상도 ImageNet 생성에서 최첨단 성능을 달성한다.

ABSTRACT

We empirically study the effect of noise scheduling strategies for denoising diffusion generative models. There are three findings: (1) the noise scheduling is crucial for the performance, and the optimal one depends on the task (e.g., image sizes), (2) when increasing the image size, the optimal noise scheduling shifts towards a noisier one (due to increased redundancy in pixels), and (3) simply scaling the input data by a factor of $b$ while keeping the noise schedule function fixed (equivalent to shifting the logSNR by $\log b$) is a good strategy across image sizes. This simple recipe, when combined with recently proposed Recurrent Interface Network (RIN), yields state-of-the-art pixel-based diffusion models for high-resolution images on ImageNet, enabling single-stage, end-to-end generation of diverse and high-fidelity images at 1024$ imes$1024 resolution (without upsampling/cascades).

연구 동기 및 목표

• 다양한 노이즈 스케줄링 전략이 이미지 해상도에 따라 확산 모델의 성능에 어떠한 영향을 미치는지 조사한다.
• 이미지 크기가 왜 그리고 어떻게 노이즈 스케줄의 효과에 영향을 미치는지 이해한다.
• 작고 실용적이며 다양한 작업과 해상도에서 실용적인 간단하고 효과적인 복합 스케줄링 접근법을 개발한다.
• 제안된 스케줄링을 Recurrent Interface Network (RIN)과 결합하면 고품질의 단일 단계 고해상도 이미지 생성을 보여준다.

제안 방법

• 연속 시간 노이즈 스케줄 gamma(t)로 확산 모델을 모델링하고 코사인, 시그모이드, 선형 형태를 분석한다.
• 로그SNR을 간접적으로 조정하는 입력 스케일링 b를 탐구하고 그것이 훈련 안정성 및 성능에 미치는 영향을 분석한다.
• 간단한 복합 전략을 제안한다: 노이즈 스케줄을 고정하고 (예: gamma(t)=1-t) 입력 스케일링을 적용하며, 선택적으로 분산 정규화를 수행한다.
• 훈련 및 샘플링 동안 denoising 네트워크의 전처리 단계로 x_t의 분산 정규화를 사용한다.
• 다수의 해상도에서 클래스-조건부 ImageNet에서 FID와 Inception Score를 지표로 사용해 학습하고 평가한다.
• 코사인 또는 시그모이드 스케줄과 조정된 하이퍼파라미터 및 입력 스케일링이 많은 설정에서 고정 선형 스케줄보다 더 나은 결과를 낳는다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 노이즈 스케줄 gamma(t)의 선택이 다양한 이미지 해상도에서 확산 모델의 성능에 어떤 영향을 미치는가?
• RQ2 이미지 크기를 키우면 픽셀 중복성으로 인해 더 노이즈가 많은 스케줄로의 이동이 필요한가?
• RQ3 고정된 노이즈 스케줄링과 입력 스케일링의 간단한 조합이 해상도 전반에서 견고한 성능을 제공할 수 있는가?
• RQ4 제안된 스케줄링 전략을 Recurrent Interface Network (RIN)과 결합했을 때 고해상도 픽셀 기반 확산 생성에 어떤 영향이 있는가?

주요 결과

• 노이즈 스케줄링은 확산 모델 성능에 중요한 역할을 하며 최적의 스케줄은 작업과 이미지 크기에 따라 달라진다.
• 이미지 크기가 커질수록 최적의 스케줄은 더 많은 노이즈가 있는 상태로 이동한다 이는 픽셀 중복성과 픽셀당 노이즈의 독립성 때문.
• 스케일 b로 입력을 곱하고 스케줄을 고정된 채 유지하면 로그SNR을 effectively 조정하고 해상도에 걸쳐 강건한 향상을 제공한다.
• 간단한 복합 전략(고정 gamma(t) 예: 1−t)과 입력 스케일링을 결합하고 RIN과 함께 ImageNet(1024×1024)에서 업샘플링이나 캐슬 없이 최첨단 단일 단계, 픽셀 기반 고해상도 이미지 생성을 가능하게 한다.
• 복합 전략과 RIN은 잠재 확산이나 분류기 가이던스에 의존하지 않고 여러 해상도에서 FID 및 IS 점수를 경쟁력 있거나 우수하게 달성한다.
• 시각화는 해상도에 관계없이 글로벌 구조가 보존되지만 일부 세부는 스케일링이나 하이퍼파라미터 튜닝으로 개선될 수 있다.