[论文解读] A Dimension-free Computational Upper-bound for Smooth Optimal Transport Estimation

Adrien Vacher, Boris Muzellec+3 more|arXiv (Cornell University)|Jan 13, 2021

Markov Chains and Monte Carlo Methods参考文献 44被引用 9

一句话总结

该论文提出了一种新颖的平滑最优传输计算估计器，通过利用无限维平方和（sum-of-squares）表示，实现了无维度依赖的统计与计算速率。对于正则性参数 $ m > d $ 的平滑分布，当 $ m \geq 3d $ 时，该方法在样本量为 $ \tilde{O}(\varepsilon^{-2}) $、计算时间为 $ \tilde{O}(\varepsilon^{-4}) $ 的条件下实现维度无关的复杂度，尽管常数依赖于维度，但成功弥合了平滑最优传输估计中的统计-计算差距。

ABSTRACT

It is well-known that plug-in statistical estimation of optimal transport suffers from the curse of dimensionality. Despite recent efforts to improve the rate of estimation with the smoothness of the problem, the computational complexity of these recently proposed methods still degrades exponentially with the dimension. In this paper, thanks to an infinite-dimensional sum-of-squares representation, we derive a statistical estimator of smooth optimal transport which achieves a precision $\varepsilon$ from $ ilde{O}(\varepsilon^{-2})$ independent and identically distributed samples from the distributions, for a computational cost of $ ilde{O}(\varepsilon^{-4})$ when the smoothness increases, hence yielding dimension-free statistical and computational rates, with potentially exponentially dimension-dependent constants.

研究动机与目标

• 解决在平滑性假设下最优传输估计中的统计-计算差距问题。
• 开发一种可计算的、多项式时间的算法，以匹配平滑分布的极小极大统计速率。
• 不仅从统计角度，也从计算角度利用平滑性，克服现有方法中的维度灾难。
• 通过核均值嵌入统一 i.i.d. 抽样、精确积分与点态密度评估的估计框架。

提出的方法

• 该方法利用最优传输势的无限维平方和（SoS）表示，以实现高效计算。
• 将对偶最优传输问题表述为带有基于核的约束和边缘惩罚项的正则化半定规划（SDP）。
• 通过核均值嵌入表示测度来构建估计器，从而在抽样、积分与评估场景下实现统一分析。
• 采用带有正则化参数 $ \lambda_1 $ 和 $ \lambda_2 $ 的原始-对偶算法求解 SDP，并通过强对偶性提供收敛性保证。
• 引入一种基于准随机序列的空间填充抽样策略，以高效近似对偶约束。
• 最终估计器 $ \hat{d}_{\text{OT}} $ 由对偶势 $ \hat{u}, \hat{v} $ 推导得出，运输映射表示为 $ \hat{T}(x) = x - \nabla_x \hat{u}(x) $。

实验结果

研究问题

• RQ1 是否可以计算性地利用最优传输势的平滑性，以实现无维度依赖的复杂度？
• RQ2 是否存在一种可计算的、多项式时间的算法，能够匹配平滑最优传输的极小极大统计速率？
• RQ3 能否为 i.i.d. 抽样、精确积分与点态密度评估建立统一的框架用于最优传输估计？
• RQ4 在平滑最优传输估计中，实现 $ \varepsilon $-精度的计算成本是多少？其随维度与平滑性的变化规律如何？

主要发现

• 当 $ m \geq 3d $ 时，所提估计器实现 $ \tilde{O}(\varepsilon^{-2}) $ 的样本复杂度与 $ \tilde{O}(\varepsilon^{-4}) $ 的计算成本，使复杂度在指数上无维度依赖。
• 当 $ m < 3d $ 时，计算成本为 $ \tilde{O}(\varepsilon^{-\max(4, \frac{7d}{m} - d)}) $，且随平滑性 $ m $ 的增加而改善。
• 当可获得精确积分或点态密度评估时，计算成本可低于 $ \varepsilon^{-4} $，从而减少对蒙特卡洛抽样的依赖。
• 数值实验验证了估计器 $ \hat{d}_{\text{OT}} $ 在四维截断正态分布上收敛于真实 OT 距离，且误差随样本量增加而减小。
• 在 $ \lambda_1, \lambda_2 \to 0 $ 的极限下，该方法可恢复未正则化的 OT 问题，验证了其与经典 OT 的一致性。
• 理论分析表明，总误差被控制在 $ O(\varepsilon) $ 以内，且显式依赖于平滑性、正则化与近似误差。