[論文レビュー] Generalization Properties of Score-matching Diffusion Models for Intrinsically Low-dimensional Data

Saptarshi Chakraborty, Quentin Berthet+1 more|arXiv (Cornell University)|Mar 4, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

この論文は、スコアベース拡散モデルの統計的収束をデータの本質的次元の観点から分析する枠組みを導入し、低次元構造に適応する有限サンプル保証を得るための新しい $(p,q)$-Wasserstein 次元を定義する。

ABSTRACT

Despite the remarkable empirical success of score-based diffusion models, their statistical guarantees remain underdeveloped. Existing analyses often provide pessimistic convergence rates that do not reflect the intrinsic low-dimensional structure common in real data, such as that arising in natural images. In this work, we study the statistical convergence of score-based diffusion models for learning an unknown distribution $μ$ from finitely many samples. Under mild regularity conditions on the forward diffusion process and the data distribution, we derive finite-sample error bounds on the learned generative distribution, measured in the Wasserstein-$p$ distance. Unlike prior results, our guarantees hold for all $p \ge 1$ and require only a finite-moment assumption on $μ$, without compact-support, manifold, or smooth-density conditions. Specifically, given $n$ i.i.d.\ samples from $μ$ with finite $q$-th moment and appropriately chosen network architectures, hyperparameters, and discretization schemes, we show that the expected Wasserstein-$p$ error between the learned distribution $\hatμ$ and $μ$ scales as $\mathbb{E}\, \mathbb{W}_p(\hatμ,μ) = \widetilde{O}\!\left(n^{-1 / d^\ast_{p,q}(μ)}\right),$ where $d^\ast_{p,q}(μ)$ is the $(p,q)$-Wasserstein dimension of $μ$. Our results demonstrate that diffusion models naturally adapt to the intrinsic geometry of data and mitigate the curse of dimensionality, since the convergence rate depends on $d^\ast_{p,q}(μ)$ rather than the ambient dimension. Moreover, our theory conceptually bridges the analysis of diffusion models with that of GANs and the sharp minimax rates established in optimal transport. The proposed $(p,q)$-Wasserstein dimension also extends classical Wasserstein dimension notions to distributions with unbounded support, which may be of independent theoretical interest.

研究の動機と目的

• スコアベース拡散モデルに対する既存の高次元レートを超える理論的保証の必要性を動機付ける。
• 低次元データ幾何を捉える本質次元フレームワークを導入する。
• 緩やかなモーメント条件の下で、学習分布の有限サンプルWassersteinベースの誤差界を開発する。
• 拡散モデルが本質幾何に適応し、規則的なターゲット下でほぼミニマックスレートを達成できることを示す。

提案手法

• フォワード拡散を経験データ分布から始まるスケーリングしたOrnstein–Uhlenbeck過程としてモデル化する。
• 本質データ次元を無限域分布のために定量化するための$(p,q)$-Wasserstein次元を定義し分析する。
• スコアマッチングをニューラルネットワーク関数クラス上の加重MSE損失として定式化し、離散化と訓練パラメータスキームを確立する。
• 学習分布の有限サンプルWasserstein-$p$誤差界を、$(p,q)$-Wasserstein次元の観点から導出する（定理10および関連結果）。
• 拡散モデルの収束を最適輸送のミニマックスレートと比較し、既存のGAN/OT理論と関連づける。

(a) Results on the basenji class

実験結果

リサーチクエスチョン

• RQ1 スコアベース拡散モデルは、環境次元ではなく本質的データ次元に依存する有限サンプル収束保証を達成できるか。
• RQ2 フォワードおよびバックワードの拡散パラメータ、スコアネットワーククラス、離散化は、有限サンプルの下でWasserstein距離誤差にどのように影響するか。
• RQ3 有限モーメントの下で未定義域・重尾データを特徴づける適切な本質次元概念は何か。
• RQ4 拡散モデルは、マンifoldやアフィン部分空間のような規則的な低次元サポートの下でミニマックス最適レートを達成するか。

主な発見

• 学習分布と真の分布の期待Wasserstein距離は、本質的Wasserstein次元の関数としておおむねスケールする：E W_p(μ̂, μ) = ~O(n^{-1/d^*_{p,q}(μ)})、緩やかな条件の下。
• 提案された$(p,q)$-Wasserstein次元は、有限モーメントを持つ無限域サポートへ拡張された古典的Wasserstein次元を定義する。
• 拡散モデルは本質幾何に適応し、次元の呪いを緩和する。収束のエクスポーネントは周囲の次元ではなく本質次元$d^*_{p,q}(μ)$に依存する。
• 適度な正規性の下、拡散モデルは規則的サポート（例：マンifold、アフィン部分空間）に対して、nの多項対数因子を除けばほぼミニマックスレートを達成できる。
• 合成データを用いた実験は、 intrinsic dimension に結びつくサンプル効率を示し、低い本質次元ほど誤差減衰が速いことを示す。

(b) Results on the soap-bubble class