[논문 리뷰] Spectrally-Guided Diffusion Noise Schedules

Carlos Esteves, Ameesh Makadia|arXiv (Cornell University)|2026. 03. 19.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

논문은 픽셀 확산에 대해 per-instance, 스펙트럼 가이드 노이즈 스케줄을 설계하여, 특히 적은 denoising 단계에서 각 이미지의 스펙트럼을 조건으로 하는 스케줄에 의해 이미지 품질을 향상시킨다.

ABSTRACT

Denoising diffusion models are widely used for high-quality image and video generation. Their performance depends on noise schedules, which define the distribution of noise levels applied during training and the sequence of noise levels traversed during sampling. Noise schedules are typically handcrafted and require manual tuning across different resolutions. In this work, we propose a principled way to design per-instance noise schedules for pixel diffusion, based on the image's spectral properties. By deriving theoretical bounds on the efficacy of minimum and maximum noise levels, we design ``tight'' noise schedules that eliminate redundant steps. During inference, we propose to conditionally sample such noise schedules. Experiments show that our noise schedules improve generative quality of single-stage pixel diffusion models, particularly in the low-step regime.

연구 동기 및 목표

• 픽셀 디퓨전을 데이터셋 레벨의 휴리스틱에서 각 인스턴스의 스펙트럼 주도 노이즈 스케줄로 개선하려는 동기 부여.
• 각 이미지의 스펙트로 properties에 맞춰 전방 노이즈 및 샘플링 스케줄을 체계적으로 조정하는 방법 도입.
• 샘플링 전에 스펙트럼을 예측하기 위한 최소/최대 노이즈 수준의 이론적 경계와 조건부 메커니즘 제시.
• 저단계 구간에서 단일 스테이지 픽셀 확산 모델의 생성 품질과 효율성 향상 시연.
• 샘플링 중 스펙트럼 조작이 생성 이미지의 질감과 디테일을 어떻게 조향하는지 explored.

제안 방법

• 이미지 파워 스펙트럼(RAPSD)을 따르는 per-instance 노이즈 스케줄 정의.
• "타이트한" 스케줄을 만들기 위한 최소/최대 노이즈 레벨의 경계 도출.
• conditioning(예: 클래스)을 RAPSD 매개변수(α, β)로 매핑하는 조건부 RAPSD 샘플러 S(y) 제안.
• 세 가지 스케줄 타입(주파수 중심, 파워 중심, 혼합)을 계산하고 이를 샘플링의 logSNR λ(t)에 매핑.
• 학습 시 각 이미지에 대해 파워-법칙 RAPSD를 피팅하고 추론 시 샘플링에서 적용하여 스케줄 학습.
• per-image 스케줄을 수용하고 FiLM 기반 Conditioning을 위해 conditioning 및 guidance 간격 수정.

Figure 1 : Our “tight” schedules adapt to each instance’s spectrum, ensuring effective noise levels at all steps. Top: An image with low energy on low frequencies. The standard cosine noise schedule destroys the signal at $t=0.5$ , which means that at least half of the training steps would apply exc

실험 결과

연구 질문

• RQ1 per-instance 스펙트럴 특성을 활용해 픽셀 기반 확산 모델의 노이즈 스케줄을 더 효과적으로 설계할 수 있는가?
• RQ2 스펙트럼 가이드 스케줄이 필요한 denoise 단계 수를 줄이면서 이미지 품질을 유지하거나 향상시키는가?
• RQ3 주파수 중심, 파워 중심, 혼합 스케줄이 이미지 충실도(FID), 다양성(IS), 정밀도/재현율 측면에서 어떻게 비교되는가?
• RQ4 RAPSD 샘플러가 conditioning 신호로부터 스펙트럼 기반 스케줄 매개변수를 예측하여 ground-truth 스펙트럼 없이 끝에서부터 샘플링이 가능한가?
• RQ5 스펙트럼 조작이 생성 이미지의 질감과 디테일에 미치는 영향은 무엇인가?

주요 결과

모델	매개변수	NFE	FID ↓	sFID ↓	IS ↑	정밀도 ↑	재현율 ↑
SiD2, small	397M	512	2.19 (2.19)	4.30	295.3	0.72	0.63
Ours, small	399M	256	1.79	4.39	306.1	0.73	0.64
SiD2, Flop Heavy	397M	512	1.53 (1.48)	3.98	306.2	0.74	0.63
Ours, Flop Heavy	399M	320	1.45	3.91	310.0	0.74	0.63
SiD2, small (ImageNet 128x128)	397M	512	1.62	3.76	220.0	0.73	0.64
Ours, small (ImageNet 128x128)	399M	160	1.43	3.65	223.9	0.74	0.64
SiD2, small (ImageNet 256x256)	397M	512	1.68 (1.72)	4.04	288.2	0.72	0.65
Ours, small (ImageNet 256x256)	399M	256	1.42	3.82	297.0	0.73	0.65
SiD2, Flop Heavy (ImageNet 256x256)	397M	512	1.37 (1.38)	3.83	286.3	0.73	0.65
Ours, Flop Heavy (ImageNet 256x256)	399M	256	1.32	3.71	294.2	0.74	0.64

• Per-instance, spectrally guided schedules outperform a strong pixel-diffusion baseline (SiD2) across multiple ImageNet resolutions, particularly in low-step regimes.
• “Tight” schedules following the image spectrum reduce redundant steps and improve FID/IS trade-offs when fewer denoising steps are used.
• Frequency-focused, power-focused, and mixed schedules offer complementary benefits; the mixed schedule often yields best overall performance.
• A RAPSD sampler can approximate the per-image spectrum at inference with minimal loss, enabling end-to-end sampling conditioned on class or prompt.
• Manipulating the sampled RAPSD (e.g., changing the α exponent) alters image texture/details, demonstrating controllable spectral effects in outputs.
• Ablation studies show that the proposed per-instance conditioning and the two-parameter RAPSD sampling are crucial for performance gains.

Figure 2 : Our noise schedules vary per instance based on its spectral properties. Left: Median power per frequency for ImageNet at multiple resolutions (increasing from light to dark). The power spectrum of natural images follows a power law whose trends explain current noise schedule tuning heuris