[论文解读] Convergence of Gaussian-smoothed optimal transport distance with sub-gamma distributions and dependent samples

Yixing Zhang, Xiuyuan Cheng+1 more|arXiv (Cornell University)|Mar 18, 2021

Markov Chains and Monte Carlo Methods被引用 2

一句话总结

该论文在一般条件下建立了高斯平滑最优传输（GOT）距离的收敛性保证，表明仅需在 $d$ 维空间中存在大于 $d + 2p$ 的矩条件，估计值即可收敛。通过将GOT与核MMD距离关联，该研究将GOT扩展至亚高斯分布和依赖样本，实现了与维度相关的相变行为，并在弱依赖条件下保持鲁棒性。

ABSTRACT

The Gaussian-smoothed optimal transport (GOT) framework, recently proposed by Goldfeld et al., scales to high dimensions in estimation and provides an alternative to entropy regularization. This paper provides convergence guarantees for estimating the GOT distance under more general settings. For the Gaussian-smoothed $p$-Wasserstein distance in $d$ dimensions, our results require only the existence of a moment greater than $d + 2p$. For the special case of sub-gamma distributions, we quantify the dependence on the dimension $d$ and establish a phase transition with respect to the scale parameter. We also prove convergence for dependent samples, only requiring a condition on the pairwise dependence of the samples measured by the covariance of the feature map of a kernel space. A key step in our analysis is to show that the GOT distance is dominated by a family of kernel maximum mean discrepancy (MMD) distances with a kernel that depends on the cost function as well as the amount of Gaussian smoothing. This insight provides further interpretability for the GOT framework and also introduces a class of kernel MMD distances with desirable properties. The theoretical results are supported by numerical experiments.

研究动机与目标

• 将高斯平滑最优传输（GOT）的收敛性保证从i.i.d.样本和轻尾分布扩展至更一般情形。
• 在更弱的矩条件下建立收敛性，仅需在 $d$ 维空间中存在大于 $d + 2p$ 的矩。
• 分析GOT在亚高斯分布数据下的行为，量化尺度参数对收敛速率的影响。
• 通过在再生核Hilbert空间（RKHS）中对特征映射施加协方差条件，证明依赖样本下的收敛性。
• 通过证明GOT可被一族与代价函数和平滑程度相关的MMD距离所主导，实现GOT与核最大均值差异（MMD）的统一。

提出的方法

• 通过底层分布的矩条件推导GOT距离的收敛界，特别要求矩大于 $d + 2p$。
• 通过分析尺度参数和维度 $d$ 的依赖关系，刻画亚高斯分布下的收敛行为，揭示相变现象。
• 通过在再生核Hilbert空间（RKHS）中对特征映射施加协方差条件，对依赖样本建模，确保在弱依赖条件下的收敛性。
• 通过证明GOT距离被一族与代价函数和高斯平滑相关的MMD距离所主导，建立GOT与核MMD之间的理论联系。
• 利用该核-MMD关联关系，将GOT解释为一种正则化MMD，增强其可解释性，并支持新的理论分析。

实验结果

研究问题

• RQ1 在何种矩条件下，高斯平滑最优传输距离在高维设置下收敛？
• RQ2 对于亚高斯分布数据，GOT的收敛速率如何表现？是否存在与尺度参数相关的相变？
• RQ3 GOT的收敛性保证能否扩展至依赖样本？需要何种依赖结构？
• RQ4 GOT与核最大均值差异（MMD）之间存在何种关系？该关联如何用于理论分析？
• RQ5 高斯平滑的选择如何影响GOT距离在高维下的收敛特性？

主要发现

• 高斯平滑最优传输距离在最小矩条件——即 $p$ 阶矩超过 $d + 2p$——下收敛，使得在重尾数据的高维设置中仍可实现估计。
• 对于亚高斯分布，收敛速率表现出与尺度参数相关的相变，当尺度相对于维度较小时收敛更快。
• 在核空间中对特征映射施加协方差条件，可在弱依赖条件下建立依赖样本的收敛性，将i.i.d.结果推广至弱依赖序列。
• GOT距离被一族MMD距离所主导，其核函数同时依赖于代价函数和平滑程度，提供了新的可解释性框架。
• 该核-MMD关联揭示了GOT继承了MMD的优良特性，如鲁棒性和可处理的估计，同时保持了最优传输的几何直观。