[论文解读] Gaussian-Smooth Optimal Transport: Metric Structure and Statistical Efficiency

Ziv Goldfeld, Kristjan Greenewald|arXiv (Cornell University)|Jan 24, 2020

Markov Chains and Monte Carlo Methods参考文献 29被引用 5

一句话总结

本文提出高斯平滑最优传输（GOT），一种新颖的框架，在保留 1- Wasserstein 距离度量结构的同时，消除了在高维空间中经验近似时的维度灾难问题。通过将概率测度与各向同性高斯噪声进行卷积，GOT 在所有维度下均实现了 $n^{-1/2}$ 的快速收敛速率，优于经典 OT，且在统计效率上与熵正则化 OT 相当，同时不损失度量特性。

ABSTRACT

Optimal transport (OT), and in particular the Wasserstein distance, has seen a surge of interest and applications in machine learning. However, empirical approximation under Wasserstein distances suffers from a severe curse of dimensionality, rendering them impractical in high dimensions. As a result, entropically regularized OT has become a popular workaround. However, while it enjoys fast algorithms and better statistical properties, it looses the metric structure that Wasserstein distances enjoy. This work proposes a novel Gaussian-smoothed OT (GOT) framework, that achieves the best of both worlds: preserving the 1-Wasserstein metric structure while alleviating the empirical approximation curse of dimensionality. Furthermore, as the Gaussian-smoothing parameter shrinks to zero, GOT $Γ$-converges towards classic OT (with convergence of optimizers), thus serving as a natural extension. An empirical study that supports the theoretical results is provided, promoting Gaussian-smoothed OT as a powerful alternative to entropic OT.

研究动机与目标

• 解决在高维机器学习应用中，1-Wasserstein 距离因维度灾难而带来的经验最优传输（OT）问题。
• 保留 1-Wasserstein 距离的度量结构，该结构在熵正则化 OT 中会丢失。
• 开发一种框架，实现与熵正则化 OT 相当的快速统计收敛速率，同时保持正确的度量性质。
• 为所提出的 GOT 框架下经验近似的收敛速率建立理论保证。
• 提供实证验证以支持理论主张，并将 GOT 定位为现有 OT 方法的可行替代方案。

提出的方法

• 提出高斯平滑最优传输（GOT）作为 $\mathsf{W}_{1}^{(\sigma)}(\mu,\nu) = \mathsf{W}_{1}(\mu \ast \mathcal{N}_\sigma, \nu \ast \mathcal{N}_\sigma)$，其中 $\mathcal{N}_\sigma$ 为方差为 $\sigma^2$ 的各向同性高斯分布。
• 利用 Kantorovich-Rubinstein 对偶性，将 GOT 距离表示为满足 $\|f\|_{\mathsf{Lip}} \leq 1$ 的利普希茨函数的上确界形式：$\sup_{\|f\|_{\mathsf{Lip}} \leq 1} \mathbb{E}_{\hat{\mu}_n \ast \mathcal{G}_\sigma} f - \mathbb{E}_{\mu \ast \mathcal{G}_\sigma} f$。
• 将 McDiarmid 不等式应用于经验 GOT 距离，推导浓度界，利用利普希茨函数与高斯核卷积的利普希茨连续性。
• 证明 $\mathsf{W}_{1}^{(\sigma)}(\mu,\nu)$ 关于 $\sigma$ 连续且单调递减，且 $\mathsf{W}_{1}^{(0)}(\mu,\nu) = \mathsf{W}_{1}(\mu,\nu)$，确保当 $\sigma \to 0$ 时收敛至经典 OT。
• 证明当 $\sigma \to 0$ 时，GOT 的最优传输计划弱收敛至经典 OT 的最优计划，从而保证解的一致性。
• 在子高斯噪声和密度有界、单调的条件下，推导出 $\mathbb{E}\left[\mathsf{W}_{1}^{(\sigma)}(\hat{\mu}_n, \mu)\right]$ 的 $O(n^{-1/2})$ 收敛速率，该结果在所有维度下均成立。

实验结果

研究问题

• RQ1 是否可以通过最优传输的平滑版本，在保留 1-Wasserstein 距离度量结构的同时，提升高维空间中的统计收敛速度？
• RQ2 高斯平滑是否能消除在单样本情形下经验 OT 近似中的维度灾难问题？
• RQ3 在高维设置下，经验 GOT 距离的收敛速率如何随样本量 $n$ 变化？
• RQ4 当平滑参数 $\sigma \to 0$ 时，GOT 的极限行为如何？是否能恢复原始 OT 解？
• RQ5 所提出的框架能否同时实现度量性质与快速统计收敛速度，而这是熵正则化 OT 或经典 OT 所不具备的？

主要发现

• 高斯平滑 OT 距离 $\mathsf{W}_{1}^{(\sigma)}(\mu,\nu)$ 继承了 1-Wasserstein 距离的度量结构，包括弱收敛的度量化及测地线插值特性。
• 当 $\sigma \to 0$ 时，$\mathsf{W}_{1}^{(\sigma)}(\mu,\nu)$ 收敛至 $\mathsf{W}_{1}(\mu,\nu)$，且 GOT 的最优传输计划弱收敛至经典 OT 的最优计划。
• 经验 GOT 距离 $\mathbb{E}\left[\mathsf{W}_{1}^{(\sigma)}(\hat{\mu}_n, \mu)\right]$ 在所有维度下均以 $O(n^{-1/2})$ 速率收敛，与底层维度 $d$ 无关。
• 该 $n^{-1/2}$ 速率在子高斯噪声及平滑核具有有界、单调密度的条件下成立，有效消除了单样本情形下的维度灾难。
• 由于收敛速率的提升，该框架在高维空间中优于经典 OT，同时保留了熵正则化 OT 所丢失的度量特性。
• 实证验证支持理论发现，表明 GOT 是一种统计高效且保持度量特性的现有 OT 方法的可行替代方案。