[论文解读] Limit Distribution Theory for the Smooth 1-Wasserstein Distance with Applications

Ritwik Sadhu, Ziv Goldfeld+1 more|arXiv (Cornell University)|Jul 28, 2021

Geometric Analysis and Curvature Flows参考文献 80被引用 8

一句话总结

本文建立了光滑1- Wasserstein距离（SWD）的高维极限分布理论，证明其收敛速率恒为参数型 $ n^{-1/2} $，与维度无关，并通过最小期望距离估计方法，验证了其在两样本检验和隐式生成建模中的统计有效性。SWD继承了标准Wasserstein距离的度量结构，同时通过高斯平滑避免了维度灾难。

ABSTRACT

The smooth 1-Wasserstein distance (SWD) $W_1^σ$ was recently proposed as a means to mitigate the curse of dimensionality in empirical approximation while preserving the Wasserstein structure. Indeed, SWD exhibits parametric convergence rates and inherits the metric and topological structure of the classic Wasserstein distance. Motivated by the above, this work conducts a thorough statistical study of the SWD, including a high-dimensional limit distribution result for empirical $W_1^σ$, bootstrap consistency, concentration inequalities, and Berry-Esseen type bounds. The derived nondegenerate limit stands in sharp contrast with the classic empirical $W_1$, for which a similar result is known only in the one-dimensional case. We also explore asymptotics and characterize the limit distribution when the smoothing parameter $σ$ is scaled with $n$, converging to $0$ at a sufficiently slow rate. The dimensionality of the sampled distribution enters empirical SWD convergence bounds only through the prefactor (i.e., the constant). We provide a sharp characterization of this prefactor's dependence on the smoothing parameter and the intrinsic dimension. This result is then used to derive new empirical convergence rates for classic $W_1$ in terms of the intrinsic dimension. As applications of the limit distribution theory, we study two-sample testing and minimum distance estimation (MDE) under $W_1^σ$. We establish asymptotic validity of SWD testing, while for MDE, we prove measurability, almost sure convergence, and limit distributions for optimal estimators and their corresponding $W_1^σ$ error. Our results suggest that the SWD is well suited for high-dimensional statistical learning and inference.

研究动机与目标

• 解决经验Wasserstein距离估计中的维度灾难问题，该问题在高维下导致收敛速率缓慢，为 $ n^{-1/d} $。
• 在原假设与备择假设下，为光滑1-Wasserstein距离（$ \mathsf{W}_1^\sigma $）建立严格的高维极限分布理论。
• 为 $ \mathsf{W}_1^\sigma $ 建立自助法一致性、浓度不等式以及Berry-Esseen型界，以支持有效的统计推断。
• 研究收敛速率对平滑参数 $ \sigma $ 的依赖关系，包括 $ \sigma \to 0 $ 随 $ n \to \infty $ 的情形。
• 将理论框架应用于两样本齐性检验和隐式生成建模中的最小期望距离估计（MEDE）

提出的方法

• 利用Kantorovich-Rubinstein对偶性和函数中心极限定理技术，推导任意维度下 $ \sqrt{n} \mathsf{W}_1^\sigma(P_n, P) $ 的渐近分布。
• 刻画期望经验收敛速率对 $ \sigma $ 的精确依赖关系，证明 $ \mathbb{E}[\mathsf{W}_1^\sigma(P_n, P)] = O(\sigma \sqrt{d} + n^{-1/2}) $，其中 $ \sigma $ 随 $ n $ 缓慢衰减。
• 为 $ \mathsf{W}_1^\sigma $ 建立自助法一致性，证明重采样分布收敛于统计量的真实抽样分布。
• 证明 $ \mathsf{W}_1^\sigma $ 的浓度不等式和Berry-Esseen界，量化其收敛到正态分布的速度。
• 通过证明基于 $ \mathsf{W}_1^\sigma $ 的齐性检验在渐近下有效，将极限理论应用于两样本检验。
• 分析隐式生成建模中最小期望距离估计（MEDE）的统计性质，证明估计量及其 $ \mathsf{W}_1^\sigma $ 误差的可测性、几乎必然收敛性及极限分布。

实验结果

研究问题

• RQ1 经验光滑1-Wasserstein距离 $ \mathsf{W}_1^\sigma(P_n, P) $ 的高维极限分布是什么？其如何依赖于平滑参数 $ \sigma $？
• RQ2 经验 $ \mathsf{W}_1^\sigma $ 收敛到其总体对应量的速度如何？该速率对 $ \sigma $ 和维度 $ d $ 的精确依赖关系是什么？
• RQ3 对 $ \mathsf{W}_1^\sigma $ 的自助法是否有效？能否用于构造置信区间或假设检验？
• RQ4 $ \mathsf{W}_1^\sigma $ 能否用于高维下渐近有效的两样本齐性检验？
• RQ5 当数据和模型均通过抽样获得时，使用 $ \mathsf{W}_1^\sigma $ 的最小期望距离估计（MEDE）具有哪些统计性质？

主要发现

• 推导出任意维度下 $ \sqrt{n} \mathsf{W}_1^\sigma(P_n, P) $ 的极限分布，建立了光滑1-Wasserstein距离的中心极限定理。
• $ \mathsf{W}_1^\sigma $ 的期望经验收敛速率为 $ O(\sigma \sqrt{d} + n^{-1/2}) $，当 $ \sigma $ 随 $ n $ 缓慢衰减时，$ n^{-1/2} $ 项占主导，确保参数型收敛速率。
• 对 $ \mathsf{W}_1^\sigma $ 的自助法具有一致性，支持有效的推断，如置信区间和假设检验。
• 本文证明了基于 $ \mathsf{W}_1^\sigma $ 的两样本齐性检验在渐近下具有有效性，即使在高维情形下亦成立。
• 对于隐式生成建模中的最小期望距离估计（MEDE），本文建立了最优估计量及其 $ \mathsf{W}_1^\sigma $ 误差的可测性、几乎必然收敛性及极限分布。
• 理论框架证实，$ \mathsf{W}_1^\sigma $ 适用于高维统计学习与推断，克服了维度灾难，同时保持了度量与拓扑结构。