[论文解读] Limit distribution theory for smooth $p$-Wasserstein distances

Ziv Goldfeld, Kengo Kato+2 more|arXiv (Cornell University)|Mar 1, 2022

Geometric Analysis and Curvature Flows被引用 4

一句话总结

该论文利用函数 delta 方法和对偶 Sobolev 空间嵌入，建立了经验平滑 $p$-Wasserstein 距离的完整极限分布理论，证明了平滑经验过程的弱收敛性以及非参数自 resampling 的一致性。此外，在二次损失下，该理论还证明了生成模型中最小距离估计量的渐近正态性。

ABSTRACT

The Wasserstein distance is a metric on a space of probability measures that has seen a surge of applications in statistics, machine learning, and applied mathematics. However, statistical aspects of Wasserstein distances are bottlenecked by the curse of dimensionality, whereby the number of data points needed to accurately estimate them grows exponentially with dimension. Gaussian smoothing was recently introduced as a means to alleviate the curse of dimensionality, giving rise to a parametric convergence rate in any dimension, while preserving the Wasserstein metric and topological structure. To facilitate valid statistical inference, in this work, we develop a comprehensive limit distribution theory for the empirical smooth Wasserstein distance. The limit distribution results leverage the functional delta method after embedding the domain of the Wasserstein distance into a certain dual Sobolev space, characterizing its Hadamard directional derivative for the dual Sobolev norm, and establishing weak convergence of the smooth empirical process in the dual space. To estimate the distributional limits, we also establish consistency of the nonparametric bootstrap. Finally, we use the limit distribution theory to study applications to generative modeling via minimum distance estimation with the smooth Wasserstein distance, showing asymptotic normality of optimal solutions for the quadratic cost.

研究动机与目标

• 通过利用高斯平滑实现参数收敛速率，以应对 Wasserstein 距离统计推断中的维度灾难问题。
• 在 $p > 1$ 的情况下，为经验平滑 $p$-Wasserstein 距离建立严格的极限分布理论，其中先前结果仅限于 $p=1$ 的情形。
• 在对偶 Sobolev 空间中建立平滑经验过程的弱收敛性，并刻画平滑 Wasserstein 距离的 Hadamard 方向导数。
• 通过证明非参数自 resampling 对平滑 Wasserstein 距离的分布极限估计的一致性，验证统计推断的有效性。
• 将极限理论应用于生成建模中的最小距离估计，证明在二次损失下最优参数的渐近正态性。

提出的方法

• 将平滑 $p$-Wasserstein 距离的定义域嵌入到对偶 Sobolev 空间 $\dot{H}^{-1,p}(\mu * \gamma_\sigma)$ 中，以启用函数分析工具。
• 在对偶 Sobolev 范数下刻画平滑 Wasserstein 距离的 Hadamard 方向导数，以支持函数 delta 方法的应用。
• 在较弱的矩条件之下，建立平滑经验过程 $\tilde{\mathbb{G}}_n^{(\sigma)}$ 在对偶 Sobolev 空间中的弱收敛性。
• 应用函数 delta 方法，推导出 $\sqrt{n} \, \mathsf{W}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ 的渐近分布，其为紧致高斯过程的上确界。
• 证明非参数自 resampling 对于估计平滑 Wasserstein 距离的渐近分布极限的一致性。
• 利用极限理论分析生成建模中的最小距离估计，证明在二次损失下最优参数的渐近正态性。

实验结果

研究问题

• RQ1 当 $p > 1$ 时，能否为经验平滑 $p$-Wasserstein 距离建立极限分布理论，以克服缺乏积分概率度量结构的问题？
• RQ2 平滑 $p$-Wasserstein 距离是否在实现参数收敛速率的同时，仍保持原始 $p$-Wasserstein 距离的度量和拓扑性质？
• RQ3 能否通过使用对偶 Sobolev 空间嵌入，将函数 delta 方法应用于平滑 Wasserstein 距离，以推导经验过程的弱收敛性？
• RQ4 非参数自 resampling 是否对估计平滑 Wasserstein 距离的渐近分布极限具有一致性？
• RQ5 极限分布理论是否能支持使用平滑 $p$-Wasserstein 距离进行生成建模中最小距离估计的渐近正态性？

主要发现

• 在较弱的矩条件之下，对于任意维度 $d$，缩放后的经验平滑 $p$-Wasserstein 距离 $\sqrt{n} \, \mathsf{W}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ 依分布收敛于紧致高斯过程的上确界。
• 极限分布通过平滑经验过程 $\tilde{\mathbb{G}}_n^{(\sigma)}$ 在对偶 Sobolev 空间 $\dot{H}^{-1,p}(\mu * \gamma_\sigma)$ 中的弱收敛性来刻画。
• 平滑 Wasserstein 距离的 Hadamard 方向导数在对偶 Sobolev 范数下被完整刻画，从而支持函数 delta 方法的应用。
• 非参数自 resampling 对于估计平滑 $p$-Wasserstein 距离的渐近分布极限具有一致性，支持有效推断。
• 在使用二次损失的生成建模中，通过最小距离估计，最优参数估计量具有渐近正态性，收敛速率为 $n^{-1/2}$。
• 该理论证实，高斯平滑在消除维度灾难的同时，保留了原始 $p$-Wasserstein 距离的度量和拓扑结构。