[論文レビュー] Memorization Control in Diffusion Models from Denoising-centric Perspective

Thuy Phuong Vu, Mai Viet Hoang Do+3 more|arXiv (Cornell University)|Jan 29, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

この論文は拡散モデルの memorization を denoising 中心の視点から分析し、confidence-interval 基づく timestep サンプリング戦略を導入して学習を後半の denoising ステップへシフトし、 memorization を低減し分布適合を改善する。画像および 1D データ生成タスクでの有効性を検証する。

ABSTRACT

Controlling memorization in diffusion models is critical for applications that require generated data to closely match the training distribution. Existing approaches mainly focus on data centric or model centric modifications, treating the diffusion model as an isolated predictor. In this paper, we study memorization in diffusion models from a denoising centric perspective. We show that uniform timestep sampling leads to unequal learning contributions across denoising steps due to differences in signal to noise ratio, which biases training toward memorization. To address this, we propose a timestep sampling strategy that explicitly controls where learning occurs along the denoising trajectory. By adjusting the width of the confidence interval, our method provides direct control over the memorization generalization trade off. Experiments on image and 1D signal generation tasks demonstrate that shifting learning emphasis toward later denoising steps consistently reduces memorization and improves distributional alignment with training data, validating the generality and effectiveness of our approach.

研究の動機と目的

• uniform な timestep sampling が denoising ステップ間の不均等な学習と memorization につながる仕組みを説明する。
• 挑戦的な denoising ステージへ学習の強調をシフトする denoising 中心の学習戦略を提案する。
• memorization- generalization のトレードオフを制御する confidence-interval ベースの timestep sampling メカニズムを開発する。
• 望ましい timesteps へバイアスをかけつつ、 diffusion 全体のホライゾンを確実にカバーする。
• 画像および 1D 信号生成タスクを通じてアプローチのロバスト性を示す。

提案手法

• uniform sampling の下で denoising timesteps ごとの勾配寄与を分析し、SNR（signal-to-noise ratio）と関連付ける。
• 初期の timestep が高い SNR のため学習を支配し memorization を biasing することを示す。
• mean, variance をパラメータとする正規分布ベースの timestep sampling を導入し、後半の timesteps へ学習をシフトする。
• denoising trajectory に沿う学習領域を明示的に制御する [cl, ch] の confidence interval を定義する。
• full timestep カバレッジを維持するため tail-mass truncation および mixture distribution による再分配を実装する。
• distributional および reconstruction 指標を用いて画像データセットおよび 1D 時系列データセットを評価する。

Figure 1: Illustration of the diffusion sampling trajectory, where early denoising steps play a critical role in determining whether the trajectory moves toward memorization or extrapolation. The trajectory is guided by the noise predicted by the denoising model at each timestep. Biases introduced i

実験結果

リサーチクエスチョン

• RQ1 標準的な訓練下で denoising timesteps ごとの学習寄与はどのように異なるのか？
• RQ2 後半の denoising ステップへ学習をシフトすることで memorization を減らせるか？生成品質を損なわずに済むのか？
• RQ3 confidence-interval ベースの timestep sampling はデータモダリティを越えて memorization- generalization のトレードオフを効果的に制御できるのか？

主な発見

• 後半の timesteps へ学習の強調をシフトすると memorization が一貫して減少する。
• CI の平均位置は生成データと訓練データとの距離を制御し、平均が大きいほど訓練データに近い分布になる。
• CI の幅が大きいほど（uniform sampling に近いほど）memorization の効果が大きくなる。
• 画像データで PCA ベースの比較と標準距離指標で分布距離の低下を示す。
• 同じ傾向は 1D ECG-like 信号でも観測され、平均位置が大きいほど最終エポックの訓練損失の安定性が向上する。
• 本手法はデータセット、次元性、評価指標を問わずロバストである。

Figure 2: Illustration of the truncated normal timestep sampling. Probability mass outside the valid timestep range is treated as tail mass and redistributed to ensure full coverage of all timesteps.