[論文レビュー] Two Calm Ends and the Wild Middle: A Geometric Picture of Memorization in Diffusion Models

Nick Dodson, Xinyu Gao+3 more|arXiv (Cornell University)|Feb 19, 2026

Privacy-Preserving Technologies in Data被引用数 0

ひとこと要約

この論文は、 memorization（記憶化）と生成品質を両立させるための、3つのノイズ regime（小・中・大）を識別する幾何フレームワークと、中間ノイズ regime が memorization のピークを持つ「危険域」を特定し、生成品質を維持しつつこの領域を過小訓練する幾何駆動の緩和策を提案します。

ABSTRACT

Diffusion models generate high-quality samples but can also memorize training data, raising serious privacy concerns. Understanding the mechanisms governing when memorization versus generalization occurs remains an active area of research. In particular, it is unclear where along the noise schedule memorization is induced, how data geometry influences it, and how phenomena at different noise scales interact. We introduce a geometric framework that partitions the noise schedule into three regimes based on the coverage properties of training data by Gaussian shells and the concentration behavior of the posterior, which we argue are two fundamental objects governing memorization and generalization in diffusion models. This perspective reveals that memorization risk is highly non-uniform across noise levels. We further identify a danger zone at medium noise levels where memorization is most pronounced. In contrast, both the small and large noise regimes resist memorization, but through fundamentally different mechanisms: small noise avoids memorization due to limited training coverage, while large noise exhibits low posterior concentration and admits a provably near linear Gaussian denoising behavior. For the medium noise regime, we identify geometric conditions through which we propose a geometry-informed targeted intervention that mitigates memorization.

研究の動機と目的

• 幾何学的視点を用いてdiffusionモデルにおけるmemorizationとgeneralizationを動機づけ・分析する。
• 事後ウェイト濃度とガウシアンシェルの被覆範囲がノイズスケールに応じてどう変化するかを特徴づける。
• memory が最も起こりやすい中間ノイズの「危険地帯」を特定する。
• 中間ノイズ regime を選択的に過小訓練することで緩和戦略を提案する。
• CIFAR-10 および関連データセットでフレームワークを実証的に検証する。

提案手法

• 後部ウェイト m_sigma を、ウェイト w_i(x,sigma) を用いた経験的最適デノイザーとして定義する（Eq. 2 および Eq. 3）。
• 訓練中の監視領域をモデル化するためにGaussian shell coverage を導入する（S_sigma(x) および coverage C_sigma）。
• 後部濃度とカバレージに基づいてノイズスケジュールを三つの regime（小・中（危険域）・大）に区分する。
• 軌道レベルおよびノイズレベルごとの指標を用いて memorization を分析する（memorization のための d_1NN/d_2NN テストを含む）。
• ウェイト濃度の閾値、カバレージ境界、および大ノイズ領域での線形デノイジングを記述する定理（Theorems 4.2, 4.8, 4.9, 4.11）を提供する。
• 中間ノイズ regime を過小訓練することで実践的な緩和を提案し、デノイザースワップ実験で検証する。

Figure 1 : MSE to Clean Image. Comparison of denoising quality across noise levels. Solid lines: training data; dotted lines: test data. EDM-1K shows a generalization gap in the mid- $\sigma$ region.

実験結果

リサーチクエスチョン

• RQ1 diffusionモデルにおいてどのノイズレベルで memorization が生じ、どのような幾何学的機構がそれを駆動するのか？
• RQ2 後部ウェイト濃度とGaussian shell coverage はノイズスケジュール全体でどう変化し、どのように相互作用して危険地帯を生み出すのか？
• RQ3 中間ノイズ regime を標的とした訓練で memorization を緩和でき、生成品質を損なわずにできるか？
• RQ4 軌道レベルの memorization とノイズレベルごとの memorization は、異なる訓練データ regime の下でどのように関連するのか？

主な発見

Condition	Noise Range (σ)	Mem. Rate
EDM-1K (default sample)	[0.002,80]	92.2%
EDM-50K (default sample)	[0.002,80]	0.0%
EDM-1K → EDM-50K swap: large region	σ>8.4	93.0%
EDM-1K → EDM-50K swap: medium region	[0.14,8.4]	0.0%
EDM-1K → EDM-50K swap: small region	σ<0.14	91.0%
EDM-50K → EDM-1K swap: large region	σ>8.4	0.0%
EDM-50K → EDM-1K swap: medium region	[0.14,8.4]	92.2%
EDM-50K → EDM-1K swap: small region	σ<0.14	0.0%

• memorization のリスクはノイズレベルごとに非均一で、中間ノイズ regime（危険地帯）でピークを迎える。
• 小ノイズ regime は被覆の制約により memorization を抑制し、 large ノイズ regime は後部濃度の弱さとほぼ線形デノイジングにより memorization を抑制する。
• ノイズレベルごとの memorization は中間 regime に集中し、この領域でデノイザースワップを行うと memorization の挙動が反転する。
• 実証的な結果は、中間ノイズレベル付近で後部ウェイト濃度と Gaussian shell coverage の急激な遷移を示し、memorization リスクと一致する。
• デノイザースワップ実験は、中間 regime を狙うことで memorization を緩和しつつ生成品質を維持できることを示している。
• 理論的結果（Theorems 4.2, 4.8, 4.9, 4.11）は、大ノイズ regime におけるウェイト濃度、カバレージ挙動、および限界的な線形デノイジングを形式化する。

Figure 2 : Per-Noise-Level Memorization Rate. Fraction of denoised test images classified as memorized at each noise level.