[论文解读] Alleviating Exposure Bias in Diffusion Models through Sampling with Shifted Time Steps

Mingxiao Li, Tingyu Qu+3 more|arXiv (Cornell University)|May 24, 2023

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出时间偏移采样器（Time-Shift Sampler），一种无需训练的方法，通过在推理过程中动态选择最优时间步来缓解扩散模型中的暴露偏差问题。通过在当前时间步附近窗口内搜索更优耦合的去噪步骤，该方法显著提升了FID分数——在仅使用10步的情况下，CIFAR-10数据集上的FID达到3.88，相比F-PNDM提升了44.49%，并超越了使用100步的原始DDIM模型。

ABSTRACT

Diffusion Probabilistic Models (DPM) have shown remarkable efficacy in the synthesis of high-quality images. However, their inference process characteristically requires numerous, potentially hundreds, of iterative steps, which could exaggerate the problem of exposure bias due to the training and inference discrepancy. Previous work has attempted to mitigate this issue by perturbing inputs during training, which consequently mandates the retraining of the DPM. In this work, we conduct a systematic study of exposure bias in DPM and, intriguingly, we find that the exposure bias could be alleviated with a novel sampling method that we propose, without retraining the model. We empirically and theoretically show that, during inference, for each backward time step $t$ and corresponding state $\hat{x}_t$, there might exist another time step $t_s$ which exhibits superior coupling with $\hat{x}_t$. Based on this finding, we introduce a sampling method named Time-Shift Sampler. Our framework can be seamlessly integrated to existing sampling algorithms, such as DDPM, DDIM and other high-order solvers, inducing merely minimal additional computations. Experimental results show our method brings significant and consistent improvements in FID scores on different datasets and sampling methods. For example, integrating Time-Shift Sampler to F-PNDM yields a FID=3.88, achieving 44.49\% improvements as compared to F-PNDM, on CIFAR-10 with 10 sampling steps, which is more performant than the vanilla DDIM with 100 sampling steps. Our code is available at https://github.com/Mingxiao-Li/TS-DPM.

研究动机与目标

• 研究并解决扩散概率模型（DPMs）中的暴露偏差问题，该问题源于训练阶段（使用被污染的真实标签）与推理阶段（使用模型预测的样本）之间的差异。
• 开发一种无需微调模型即可缓解暴露偏差的采样方法，避免重新训练带来的高计算成本。
• 通过在采样过程中识别与当前去噪状态更优耦合的时间步，提升生成样本质量与推理效率。
• 提供一种即插即用的解决方案，兼容现有采样算法（如DDPM、DDIM和F-PNDM），且计算开销极低。

提出的方法

• 提出一种新颖的采样策略，称为时间偏移采样器，该策略在每个去噪步骤中，于窗口 $[t - w/2, t + w/2]$ 内搜索一个替代时间步 $ t_s $，使其与当前状态 $ \hat{x}_t $ 具有更优的耦合性。
• 引入截止时间步 $ t_c $ 以自适应控制搜索过程：当 $ t > t_c $ 时，执行时间偏移搜索；当 $ t \leq t_c $ 时，使用原始时间步，以符合去噪过程的自然推进顺序。
• 通过实验发现，最优的下一步时间步与当前样本的预测方差密切相关，从而实现基于数据驱动的 $ t_s $ 选择。
• 该方法可无缝集成至DDPM、DDIM和F-PNDM等现有采样算法中，仅需少量修改，且计算开销可忽略不计。
• 理论分析推导出最优下一步时间步的方差，为时间偏移选择机制提供了理论依据。
• 采用窗口化搜索策略以限制搜索空间并提升稳定性，窗口大小根据采样步数进行调优。

实验结果

研究问题

• RQ1 是否可以在不重新训练模型的前提下缓解扩散模型中的暴露偏差？
• RQ2 是否存在一个时间步 $ t_s $，其与当前去噪状态 $ \hat{x}_t $ 的耦合性更优，从而提升生成样本质量？
• RQ3 推理过程中时间步的选择如何影响生成图像的质量与一致性？
• RQ4 一种无需训练、即插即用的采样方法是否能在不同采样算法与数据集上实现一致的性能提升？
• RQ5 在已知当前状态及其预测方差的前提下，应采用何种最优策略选择下一步时间步？

主要发现

• 时间偏移采样器通过选择与当前去噪状态 $ \hat{x}_t $ 更优耦合的时间步 $ t_s $，在不重新训练模型的前提下缓解了扩散模型中的暴露偏差，显著提升了生成样本质量。
• 在CIFAR-10数据集上，仅使用10次采样步时，将时间偏移采样器集成至F-PNDM，FID得分达到3.88，相比原始F-PNDM提升44.49%。
• 该方法优于使用100次采样步的原始DDIM模型，FID得分更低（3.88 vs. 4.04），且显著减少了采样步数。
• 在10至50步范围内，该方法对窗口大小的选择具有鲁棒性；但在100步时变得更为敏感，原因在于步长更细、预测精度更高。
• CIFAR-10数据集中，最优截止时间步 $ t_c $ 的取值范围为[200, 400]，当采样步数较少时，建议采用较小值（如200）。
• 时间偏移采样器兼容多种采样算法，包括DDPM、DDIM、S-PNDM和F-PNDM，在所有模型上均表现出一致且显著的性能提升。