[论文解读] Spectrally-Guided Diffusion Noise Schedules

Carlos Esteves, Ameesh Makadia|arXiv (Cornell University)|Mar 19, 2026

Generative Adversarial Networks and Image Synthesis被引用 0

一句话总结

本文为每个实例设计了以谱为引导的噪声日程，用于像素扩散，在只有少量去噪步骤的条件下通过对每张图像的频谱进行条件化来提升图像质量。

ABSTRACT

Denoising diffusion models are widely used for high-quality image and video generation. Their performance depends on noise schedules, which define the distribution of noise levels applied during training and the sequence of noise levels traversed during sampling. Noise schedules are typically handcrafted and require manual tuning across different resolutions. In this work, we propose a principled way to design per-instance noise schedules for pixel diffusion, based on the image's spectral properties. By deriving theoretical bounds on the efficacy of minimum and maximum noise levels, we design ``tight'' noise schedules that eliminate redundant steps. During inference, we propose to conditionally sample such noise schedules. Experiments show that our noise schedules improve generative quality of single-stage pixel diffusion models, particularly in the low-step regime.

研究动机与目标

• 推动通过将数据集级启发式方法转向逐实例、谱驱动的噪声日程来改进像素扩散。
• 引入一个有原则的方法，使前向噪声和采样日程能够针对每张图像的光谱属性进行定制。
• 提供最小/最大噪声水平的理论界限以及在采样前预测光谱的条件机制。
• 在单阶段像素扩散模型的低步数 regime 下展示更高的生成质量与效率。
• 探讨采样过程中的谱操控如何引导生成图像的纹理与细节。

提出的方法

• 定义遵循图像功率谱（RAPSD）的逐实例噪声日程。
• 推导最小/最大噪声水平的界限以创建“紧凑”日程。
• 提出一个条件RAPSD采样器 S(y)，将条件（例如类别）映射到 RAPSD 参数（α, β）以进行调度。
• 计算三种日程类型（频率聚焦、功率聚焦、混合），并将它们映射到采样的对数信噪比 λ(t)。
• 在训练阶段通过对每张图像拟合幂律 RAPSD 来训练日程，在推理时进行采样。
• 修改条件化和引导区间以适应逐图像日程和 FiLM 基础的条件化。

Figure 1 : Our “tight” schedules adapt to each instance’s spectrum, ensuring effective noise levels at all steps. Top: An image with low energy on low frequencies. The standard cosine noise schedule destroys the signal at $t=0.5$ , which means that at least half of the training steps would apply exc

实验结果

研究问题

• RQ1 是否可以利用逐实例的光谱属性来设计对像素扩散模型更有效的扩散噪声日程？
• RQ2 谱引导日程在保持或提升图像质量的前提下，是否能减少所需的去噪步骤？
• RQ3 频率聚焦、功率聚焦与混合日程在保真度（FID）、多样性（IS）以及精确性/召回方面的对比如何？
• RQ4 RAPSD 采样器是否可以从条件信号（如类别提示）预测基于光谱的日程参数，以实现端到端的无地面真值光谱采样？
• RQ5 谱操控对生成图像属性（纹理与细节）的影响是什么？

主要发现

模型	参数	NFE	FID ↓	sFID ↓	IS ↑	精确度 ↑	召回 ↑
SiD2, small	397M	512	2.19 (2.19)	4.30	295.3	0.72	0.63
Ours, small	399M	256	1.79	4.39	306.1	0.73	0.64
SiD2, Flop Heavy	397M	512	1.53 (1.48)	3.98	306.2	0.74	0.63
Ours, Flop Heavy	399M	320	1.45	3.91	310.0	0.74	0.63
SiD2, small (ImageNet 128x128)	397M	512	1.62	3.76	220.0	0.73	0.64
Ours, small (ImageNet 128x128)	399M	160	1.43	3.65	223.9	0.74	0.64
SiD2, small (ImageNet 256x256)	397M	512	1.68 (1.72)	4.04	288.2	0.72	0.65
Ours, small (ImageNet 256x256)	399M	256	1.42	3.82	297.0	0.73	0.65
SiD2, Flop Heavy (ImageNet 256x256)	397M	512	1.37 (1.38)	3.83	286.3	0.73	0.65
Ours, Flop Heavy (ImageNet 256x256)	399M	256	1.32	3.71	294.2	0.74	0.64

• 逐实例的谱引导日程在多个 ImageNet 分辨率上超越强劲的像素扩散基线 SiD2，尤其在低步数场景中表现突出。
• 遵循图像光谱的“紧凑”日程可减少冗余步骤，并在较少去噪步骤时改善 FID/IS 权衡。
• 频率聚焦、功率聚焦和混合日程提供互补收益；混合日程通常获得最佳总体性能。
• RAPSD 采样器在推断阶段即可在很小的损失下近似逐图像光谱，实现基于类别或提示的端到端采样。
• 对采样的 RAPSD 进行操控（如改变 α 指数）会改变图像纹理/细节，展示了输出的可控光谱效应。
• 消融研究表明提出的逐实例条件化与两参数 RAPSD 采样对性能提升至关重要。

Figure 2 : Our noise schedules vary per instance based on its spectral properties. Left: Median power per frequency for ImageNet at multiple resolutions (increasing from light to dark). The power spectrum of natural images follows a power law whose trends explain current noise schedule tuning heuris