[논문 리뷰] Two Calm Ends and the Wild Middle: A Geometric Picture of Memorization in Diffusion Models

Nick Dodson, Xinyu Gao외 3명|arXiv (Cornell University)|2026. 02. 19.

Privacy-Preserving Technologies in Data인용 수 0

한 줄 요약

논문은 세 가지 노이즈 규칙(작은, 중간, 큰)을 식별하는 기하학적 프레임워크를 제시하고, 기억화가 피크하는 위험한 중간 규칙을 강조하며, 해당 규칙을 과소훈련시키되 생성 품질은 보존하는 기하학 기반 완화 방안을 제안한다.

ABSTRACT

Diffusion models generate high-quality samples but can also memorize training data, raising serious privacy concerns. Understanding the mechanisms governing when memorization versus generalization occurs remains an active area of research. In particular, it is unclear where along the noise schedule memorization is induced, how data geometry influences it, and how phenomena at different noise scales interact. We introduce a geometric framework that partitions the noise schedule into three regimes based on the coverage properties of training data by Gaussian shells and the concentration behavior of the posterior, which we argue are two fundamental objects governing memorization and generalization in diffusion models. This perspective reveals that memorization risk is highly non-uniform across noise levels. We further identify a danger zone at medium noise levels where memorization is most pronounced. In contrast, both the small and large noise regimes resist memorization, but through fundamentally different mechanisms: small noise avoids memorization due to limited training coverage, while large noise exhibits low posterior concentration and admits a provably near linear Gaussian denoising behavior. For the medium noise regime, we identify geometric conditions through which we propose a geometry-informed targeted intervention that mitigates memorization.

연구 동기 및 목표

• 확산 모델에서 기하학적 관점으로 기억화와 일반화의 관계를 동기 부여하고 분석한다.
• 노이즈 스케줄에 따른 후방 가중치 집중과 가우시안 쉘 커버리지가 어떻게 달라지는지 특성화한다.
• 중간 노이즈에서 기억화가 발생할 가능성이 가장 큰 \'위험 구역\'을 식별한다.
• 중간 노이즈 규칙을 선택적으로 과훈련시키지 않는 완화 전략을 제안한다.
• CIFAR-10 및 관련 데이터셋에 대한 경험적 실험으로 프레임워크를 검증한다.

제안 방법

• 상태 m_sigma를 Eq. 2 및 Eq. 3에 따라 가중치 w_i(x,sigma)를 가진 경험적 최적 디노이저로 정의한다.
• 훈련 중 감독 영역을 모델링하기 위해 가우시안 쉘 커버리지(S_sigma(x)와 커버리지 C_sigma)를 도입한다.
• 후방 집중과 커버리지를 바탕으로 노이즈 일정표를 작은-중간-큰의 세 규칙으로 나눈다.
• 경로 수준 및 노이즈 수준별 지표를 포함한 기억화를 분석하며, 기억화에 대한 d_1NN/d_2NN 테스트를 포함한다.
• 가중치 집중 임계값, 커버리지 경계, 그리고 대형 노이즈에서의 선형 디노이징을 설명하는 이론적 결과(정리 4.2, 4.8, 4.9, 4.11)를 제공한다.
• 중간 노이즈 규칙을 과훈련시키지 않는 실용적 완화를 제안하고 디노이저 스와핑 실험으로 이를 검증한다.

Figure 1 : MSE to Clean Image. Comparison of denoising quality across noise levels. Solid lines: training data; dotted lines: test data. EDM-1K shows a generalization gap in the mid- $\sigma$ region.

실험 결과

연구 질문

• RQ1 확산 모델에서 기억화가 어떤 노이즈 수준에서 나타나며, 그것을 견인하는 기하학적 메커니즘은 무엇인가?
• RQ2 노이즈 일정에 따른 후방 가중치 집중과 가우시안 쉘 커버리지는 어떻게 변하고, 이들이 상호 작용하여 위험 구역을 어떻게 만들어내는가?
• RQ3 생성 품질을 해치지 않으면서 중간 노이즈 규칙의 학습 타깃팅으로 기억화를 완화할 수 있는가?
• RQ4 경로 수준의 기억화와 노이즈 수준별 기억화가 서로 다른 학습 데이터 규범에서 어떻게 관련되는가?

주요 결과

조건	노이즈 범위(σ)	메모리 비율
EDM-1K (default sample)	[0.002,80]	92.2%
EDM-50K (default sample)	[0.002,80]	0.0%
EDM-1K → EDM-50K swap: large region	σ>8.4	93.0%
EDM-1K → EDM-50K swap: medium region	[0.14,8.4]	0.0%
EDM-1K → EDM-50K swap: small region	σ<0.14	91.0%
EDM-50K → EDM-1K swap: large region	σ>8.4	0.0%
EDM-50K → EDM-1K swap: medium region	[0.14,8.4]	92.2%
EDM-50K → EDM-1K swap: small region	σ<0.14	0.0%

• 메모리화 위험은 노이즈 수준에 비균일하게 분포하며, 위험 구역으로 불리는 중간 노이즈 규칙에서 정점에 이른다.
• 작은 노이즈 구역은 커버리지의 한계로 기억화에 저항하고, 큰 노이즈 구역은 후방 집중이 약하고 디노이징이 거의 선형이어서 기억화에 저항한다.
• 노이즈 수준별 기억화는 중간 규칙에 집중되며, 이 영역에서의 디노이저 스와핑은 기억화 동작을 뒤집는다.
• 경향적 기억화 위험은 중간 수준의 노이즈에서 후방 가중치 집중과 가우시안 쉘 커버리지가 급격히 변하는 것을 보이며, 이것이 기억화 위험과 맞닿아 있다.
• 중간 규칙에 대한 디노이저 스와핑 실험은 생성 품질을 보존하면서 기억화를 완화할 수 있음을 시사한다.
• 이론적 결과들(정리 4.2, 4.8, 4.9, 4.11)은 대형 노이즈 구역에서의 가중치 집중, 커버리지 거동, 그리고 선형 디노이징의 극한 특성을 형식화한다.

Figure 2 : Per-Noise-Level Memorization Rate. Fraction of denoised test images classified as memorized at each noise level.