[论文解读] Diffusion Models are Minimax Optimal Distribution Estimators

Kazusato Oko, Shunta Akiyama+1 more|arXiv (Cornell University)|Mar 3, 2023

Advanced Neuroimaging Techniques and Applications被引用 8

一句话总结

论文为扩散模型提供统计学习理论，在真实密度属于 Besov 空间时，在 TV 和 W1 距离下证明了几乎最小极大上界的估计速率，并扩展到低维流形。

ABSTRACT

While efficient distribution learning is no doubt behind the groundbreaking success of diffusion modeling, its theoretical guarantees are quite limited. In this paper, we provide the first rigorous analysis on approximation and generalization abilities of diffusion modeling for well-known function spaces. The highlight of this paper is that when the true density function belongs to the Besov space and the empirical score matching loss is properly minimized, the generated data distribution achieves the nearly minimax optimal estimation rates in the total variation distance and in the Wasserstein distance of order one. Furthermore, we extend our theory to demonstrate how diffusion models adapt to low-dimensional data distributions. We expect these results advance theoretical understandings of diffusion modeling and its ability to generate verisimilar outputs.

研究动机与目标

• 证明当真实密度属于 Besov 空间时，扩散模型的近似与泛化保证。
• 量化分数匹配最小化如何转化为 TV 和 W1 距离的估计。
• 在流形假设下，展示扩散模型对低维数据分布的适应性。
• 提供神经网络分数近似与分布学习的 minimax 速率之间的严格联系。

提出的方法

• 给出在 L2(p_t) 下使用神经网络对分数的显式近似界，初始数据支撑在 [-1,1]^d，Besov 正则性为 B_{p,q}^s。
• 将分数近似误差转化为估计误差，在修正的分数匹配下得到 TV 的 n^{-s/(d+2s)} 与 W1 的 n^{-(s+1-δ)/(d+2s)} 速率（对于任意 δ>0）。
• 扩展分析以显示扩散模型能够对低维流形自适应，避免维数灾难。
• 构造扩散 B 样条基，并表明神经网络可以高效近似扩散 B 样条分量及其导数。
• 使用前向-后向 SDE 形式和分数网络 hat{s}(x,t) 将经验分数匹配损失与分布估计误差联系起来。
• 通过覆盖数和 Rademacher/经验过程技术给出分数网络的泛化界限。

实验结果

研究问题

• RQ1 当真实密度属于 Besov 空间时，扩散模型的统计学习保证（近似与泛化）是什么？
• RQ2 分数近似误差如何转化为 TV 和 W1 的分布估计误差？
• RQ3 扩散模型是否对低维数据分布（流形假设）自适应，是否避免维数灾难？
• RQ4 扩散模型在分布估计上可达到的 minimax 最优速率是什么？
• RQ5 分数匹配的选择（及其修正形式）如何影响实际维度中的收敛速率？

主要发现

• 在 Besov 正则性下，生成的分布在 TV 中达到几乎最小极大上界的速率（n^{-s/(d+2s)}），在 W1 中为 n^{-(s+1-δ)/(d+2s)}，对任意 δ>0。
• 分数网络在 L2(p_t) 的近似误差转化为估计误差界，使得可得到明确的速率。
• 扩散模型对低维流形自适应，在流形情形下的速率避免了维数灾难。
• 论文给出显式的神经网络构造，能够实现上述近似速率，网络规模在可允许误差的多对数尺度上缩放。
• 在 TV 下建立了 Besov 空间的 minimax 下界，表明所得到的速率接近最优（n^{-s/(2s+d)} 乘以对数因子）。
• 在 W1 下，已知的 minimax 下界为 n^{-(s+1)/(2s+d)}，指示存在潜在差距，但结果表明扩散模型在某些条件下达到接近最优。