[论文解读] Memorization Control in Diffusion Models from Denoising-centric Perspective

Thuy Phuong Vu, Mai Viet Hoang Do+3 more|arXiv (Cornell University)|Jan 29, 2026

Generative Adversarial Networks and Image Synthesis被引用 0

一句话总结

该论文从去噪为中心的视角分析扩扩散模型中的记忆效应，并引入基于置信区间的时间步采样策略，将学习偏向于后期去噪步骤，从而降低记忆化并改善分布对齐。该方法在图像与一维数据生成任务上得到验证。

ABSTRACT

Controlling memorization in diffusion models is critical for applications that require generated data to closely match the training distribution. Existing approaches mainly focus on data centric or model centric modifications, treating the diffusion model as an isolated predictor. In this paper, we study memorization in diffusion models from a denoising centric perspective. We show that uniform timestep sampling leads to unequal learning contributions across denoising steps due to differences in signal to noise ratio, which biases training toward memorization. To address this, we propose a timestep sampling strategy that explicitly controls where learning occurs along the denoising trajectory. By adjusting the width of the confidence interval, our method provides direct control over the memorization generalization trade off. Experiments on image and 1D signal generation tasks demonstrate that shifting learning emphasis toward later denoising steps consistently reduces memorization and improves distributional alignment with training data, validating the generality and effectiveness of our approach.

研究动机与目标

• 解释为何在统一采样下，不同去噪步骤的学习贡献不均且导致记忆化。
• 提出一种去噪为中心的训练策略，将学习重点转移到具有挑战性的去噊阶段。
• 开发基于置信区间的时间步采样机制，以控制记忆-泛化权衡。
• 在偏向于期望时间步的同时，确保完整的扩扩散视域覆盖。
• 证明该方法在图像和一维信号生成任务中的鲁棒性。

提出的方法

• 分析在统一采样下各去噪时间步的梯度贡献并将其与SNR（信噪比）相关联。
• 显示较早的时间步由于更高的SNR而主导学习，导致对记忆的偏向。
• 引入参数为(均值, 方差)的正态分布时间步采样，将学习偏向后期时间步。
• 定义一个置信区间[cl, ch]，以明确控制沿去噪轨迹的学习区域。
• 通过尾部质量截断和通过混合分布重新分配来实现完整时间步覆盖。
• 在图像数据集和一个1D时间序列数据集上使用分布性与重建指标进行评估。

Figure 1: Illustration of the diffusion sampling trajectory, where early denoising steps play a critical role in determining whether the trajectory moves toward memorization or extrapolation. The trajectory is guided by the noise predicted by the denoising model at each timestep. Biases introduced i

实验结果

研究问题

• RQ1 在标准训练下，不同去噪时间步的学习贡献有何差异？
• RQ2 将学习向后期去噪步骤转移是否可以在不牺牲生成质量的前提下降低记忆化？
• RQ3 基于置信区间的时间步采样是否能在多模态数据上有效控制记忆-泛化权衡？

主要发现

• 将学习重点转移到后期时间步可以持续减少记忆化。
• CI的均值位置控制生成数据与训练数据之间的距离，均值越大，分布越接近训练数据。
• 更大的CI宽度（趋向均匀采样）会增强记忆化效应。
• 该方法在图像数据上通过PCA比较和标准距离度量显示分布距离的减少。
• 同样的趋势在1D ECG样式信号中成立，且较高的均值有助于提升末次训练轮次的损失稳定性。
• 该方法在不同数据集、维度和评估指标下具有鲁棒性。

Figure 2: Illustration of the truncated normal timestep sampling. Probability mass outside the valid timestep range is treated as tail mass and redistributed to ensure full coverage of all timesteps.