[论文解读] Generalization Properties of Score-matching Diffusion Models for Intrinsically Low-dimensional Data

Saptarshi Chakraborty, Quentin Berthet+1 more|arXiv (Cornell University)|Mar 4, 2026

Generative Adversarial Networks and Image Synthesis被引用 0

一句话总结

本文提出一个框架，用于分析分数基扩散模型在内在数据维度下的统计收敛性，定义一种新的 $(p,q)$-Wasserstein 维度，以获得适应低维结构的有限样本保证。

ABSTRACT

Despite the remarkable empirical success of score-based diffusion models, their statistical guarantees remain underdeveloped. Existing analyses often provide pessimistic convergence rates that do not reflect the intrinsic low-dimensional structure common in real data, such as that arising in natural images. In this work, we study the statistical convergence of score-based diffusion models for learning an unknown distribution $μ$ from finitely many samples. Under mild regularity conditions on the forward diffusion process and the data distribution, we derive finite-sample error bounds on the learned generative distribution, measured in the Wasserstein-$p$ distance. Unlike prior results, our guarantees hold for all $p \ge 1$ and require only a finite-moment assumption on $μ$, without compact-support, manifold, or smooth-density conditions. Specifically, given $n$ i.i.d.\ samples from $μ$ with finite $q$-th moment and appropriately chosen network architectures, hyperparameters, and discretization schemes, we show that the expected Wasserstein-$p$ error between the learned distribution $\hatμ$ and $μ$ scales as $\mathbb{E}\, \mathbb{W}_p(\hatμ,μ) = \widetilde{O}\!\left(n^{-1 / d^\ast_{p,q}(μ)} ight),$ where $d^\ast_{p,q}(μ)$ is the $(p,q)$-Wasserstein dimension of $μ$. Our results demonstrate that diffusion models naturally adapt to the intrinsic geometry of data and mitigate the curse of dimensionality, since the convergence rate depends on $d^\ast_{p,q}(μ)$ rather than the ambient dimension. Moreover, our theory conceptually bridges the analysis of diffusion models with that of GANs and the sharp minimax rates established in optimal transport. The proposed $(p,q)$-Wasserstein dimension also extends classical Wasserstein dimension notions to distributions with unbounded support, which may be of independent theoretical interest.

研究动机与目标

• 为分数基扩散模型提供超越现有高维速率的理论保证的必要性提供动机。
• 引入内在维度框架以捕捉低维数据几何。
• 在温和矩条件下，为学习分布推导有限样本的 Wasserstein 基误差界。
• 表明扩散模型能够自适应内在几何，在规则目标下接近极小极大速率。

提出的方法

• 将前向扩散建模为以经验数据分布为起点的重新缩放的 Ornstein-Uhlenbeck 过程。
• 定义并分析 $(p,q)$-Wasserstein 维度以量化对无界分布的内在数据维度。
• 将分数匹配表述为对神经网络函数类的加权 MSE 损失，并建立离散化与训练参数方案。
• 给出学习分布的有限样本 Wasserstein-$p$ 误差界，利用 $(p,q)$-Wasserstein 维度（定理 10 及相关结果）。
• 将扩散模型的收敛与最优传输极小化极限速率比较，并与现有 GAN/OT 理论相关联。）

(a) Results on the basenji class

实验结果

研究问题

• RQ1 分数基扩散模型是否能实现依赖于内在数据维度而非环境维度的有限样本收敛保证？
• RQ2 前向与后向扩散参数、分数网络类以及离散化应如何影响有限样本下的 Wasserstein 距离误差？
• RQ3 在有限矩条件下，如何用合适的内在维度概念刻画对无界、重尾数据的收敛性？
• RQ4 在规则的低维支持（如流形或仿射子空间）下，扩散模型是否达到极小极大最优速率？

主要发现

• 在对学习到的分布和真实分布之间的期望 Wasserstein 距离大致按照 $(p,q)$-Wasserstein 维度的函数发展：在温和条件下， $ ext{E} W_p( ilde{ u}, u) = ilde{O}(n^{-1/d^*_{p,q}( u)})$。
• 提出的 $(p,q)$-Wasserstein 维度将经典 Wasserstein 维度扩展到具有有限矩的无界支持。
• 扩散模型能够自适应内在几何并缓解维度灾难，因为收敛指数取决于内在维度 $d^*_{p,q}( u)$ 而非环境维度。
• 在温和正则性下，扩散模型在规则支持（如流形、仿射子空间）下可达到接近极小极大速率，且多项式对数因子在样本量 $n$ 下可忽略。
• 对合成数据的实验表明，样本效率与内在维度相关，内在维度越低误差衰减越快。

(b) Results on the soap-bubble class