[论文解读] From Smooth Wasserstein Distance to Dual Sobolev Norm: Empirical Approximation and Statistical Applications

Sloan Nietert, Ziv Goldfeld+1 more|arXiv (Cornell University)|Jan 11, 2021

Topological and Geometric Data Analysis参考文献 70被引用 4

一句话总结

本文引入了高斯平滑的 $p$-Wasserstein 距离 $\mathsf{W}_p^{(\sigma)}$，以克服统计估计中的维度灾难。通过证明其受对偶 Sobolev 范数 $\mathsf{d}_p^{(\sigma)}$ 控制，作者建立了高维情形下 $n^{-1/2}$ 的参数收敛速率，与未平滑 Wasserstein 距离的 $n^{-1/d}$ 速率形成对比，并推导了两样本检验和最小距离估计的渐近分布。

ABSTRACT

Statistical distances, i.e., discrepancy measures between probability distributions, are ubiquitous in probability theory, statistics and machine learning. To combat the curse of dimensionality when estimating these distances from data, recent work has proposed smoothing out local irregularities in the measured distributions via convolution with a Gaussian kernel. Motivated by the scalability of the smooth framework to high dimensions, we conduct an in-depth study of the structural and statistical behavior of the Gaussian-smoothed $p$-Wasserstein distance $\mathsf{W}_p^{(\sigma)}$, for arbitrary $p\geq 1$. We start by showing that $\mathsf{W}_p^{(\sigma)}$ admits a metric structure that is topologically equivalent to classic $\mathsf{W}_p$ and is stable with respect to perturbations in $\sigma$. Moving to statistical questions, we explore the asymptotic properties of $\mathsf{W}_p^{(\sigma)}(\hat{\mu}_n,\mu)$, where $\hat{\mu}_n$ is the empirical distribution of $n$ i.i.d. samples from $\mu$. To that end, we prove that $\mathsf{W}_p^{(\sigma)}$ is controlled by a $p$th order smooth dual Sobolev norm $\mathsf{d}_p^{(\sigma)}$. Since $\mathsf{d}_p^{(\sigma)}(\hat{\mu}_n,\mu)$ coincides with the supremum of an empirical process indexed by Gaussian-smoothed Sobolev functions, it lends itself well to analysis via empirical process theory. We derive the limit distribution of $\sqrt{n}\mathsf{d}_p^{(\sigma)}(\hat{\mu}_n,\mu)$ in all dimensions $d$, when $\mu$ is sub-Gaussian. Through the aforementioned bound, this implies a parametric empirical convergence rate of $n^{-1/2}$ for $\mathsf{W}_p^{(\sigma)}$, contrasting the $n^{-1/d}$ rate for unsmoothed $\mathsf{W}_p$ when $d \geq 3$. As applications, we provide asymptotic guarantees for two-sample testing and minimum distance estimation. When $p=2$, we further show that $\mathsf{d}_2^{(\sigma)}$ can be expressed as a maximum mean discrepancy.

研究动机与目标

• 为解决在估计概率分布间统计距离时面临的维度灾难问题。
• 在高维设置下，开发一种可扩展且稳定的 $p$-Wasserstein 距离框架。
• 利用经验过程方法，建立对平滑 Wasserstein 距离的经验估计的渐近理论。
• 为在平滑距离下进行的两样本检验和最小距离估计提供统计保证。
• 刻画平滑 Wasserstein 距离与对偶 Sobolev 范数之间的关系。

提出的方法

• 通过将分布与高斯核卷积，引入高斯平滑的 $p$-Wasserstein 距离 $\mathsf{W}_p^{(\sigma)}$，以减少局部不规则性。
• 证明 $\mathsf{W}_p^{(\sigma)}$ 在拓扑上等价于标准 $\mathsf{W}_p$，且在 $\sigma$ 的小扰动下保持稳定。
• 建立 $\mathsf{W}_p^{(\sigma)}$ 受 $p$ 阶对偶 Sobolev 范数 $\mathsf{d}_p^{(\sigma)}$ 控制，该范数衡量对高斯平滑 Sobolev 函数族上经验过程的上确界。
• 利用经验过程理论，推导在 $\mu$ 为次高斯分布时 $\sqrt{n}\,\mathsf{d}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ 的渐近分布。
• 证明当 $p=2$ 时，$\mathsf{d}_2^{(\sigma)}$ 与高斯平滑下的最大均值差异（MMD）一致。
• 利用对偶 Sobolev 范数推导参数收敛速率和统计推断保证。

实验结果

研究问题

• RQ1 在高维情形下，高斯平滑的 $p$-Wasserstein 距离 $\mathsf{W}_p^{(\sigma)}$ 是否能实现比未平滑 $\mathsf{W}_p$ 更快的收敛速率？
• RQ2 对偶 Sobolev 范数 $\mathsf{d}_p^{(\sigma)}$ 与平滑 Wasserstein 距离 $\mathsf{W}_p^{(\sigma)}$ 之间有何关系？
• RQ3 对于次高斯分布 $\mu$，$\sqrt{n}\,\mathsf{d}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ 的渐近分布是什么？
• RQ4 平滑 Wasserstein 距离能否支持具有渐近保证的两样本检验和最小距离估计？
• RQ5 是否存在 $\mathsf{d}_2^{(\sigma)}$ 与最大均值差异（MMD）之间的联系？

主要发现

• 高斯平滑的 $p$-Wasserstein 距离 $\mathsf{W}_p^{(\sigma)}$ 在拓扑上等价于标准 $\mathsf{W}_p$，且在 $\sigma$ 的小变化下保持稳定。
• 距离 $\mathsf{W}_p^{(\sigma)}$ 受对偶 Sobolev 范数 $\mathsf{d}_p^{(\sigma)}$ 控制，从而支持经验过程分析。
• 对于次高斯分布 $\mu$，$\sqrt{n}\,\mathsf{d}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ 的渐近分布已在所有维度 $d$ 下被推导出来。
• 平滑距离 $\mathsf{W}_p^{(\sigma)}$ 的经验收敛速率为 $n^{-1/2}$，该速率具有参数性且与维度无关，与未平滑 $\mathsf{W}_p$ 在 $d \geq 3$ 时的 $n^{-1/d}$ 速率形成鲜明对比。
• 当 $p=2$ 时，对偶 Sobolev 范数 $\mathsf{d}_2^{(\sigma)}$ 与高斯平滑下的最大均值差异（MMD）等价。
• 基于平滑距离框架，为两样本检验和最小距离估计建立了渐近保证。