[论文解读] A Fast Proximal Point Method for Wasserstein Distance.

Yujia Xie, Xiangfeng Wang+2 more|arXiv (Cornell University)|Feb 12, 2018

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 33

一句话总结

本文提出了一种用于最优传输的不精确邻近点方法（IPOT），通过在单纯形上投影近似邻近算子，高效计算精确的Wasserstein距离。该方法在速度和精度方面均优于当前最先进的方法，尤其在需要精确距离且不受正则化导致性能下降影响的应用中表现卓越。

ABSTRACT

Wasserstein distance plays increasingly important roles in machine learning, stochastic programming and image processing. Major efforts have been under way to address its high computational complexity, some leading to approximate or regularized variations such as Sinkhorn distance. However, as we will demonstrate, several important machine learning applications call for the computation of exact Wasserstein distance, and regularized variations with small regularization parameter will fail due to numerical stability issues or degradate the performance. We address this challenge by developing an Inexact Proximal point method for Optimal Transport (IPOT) with the proximal operator approximately evaluated at each iteration using projections to the probability simplex. We also simplify the architecture for learning generative models based on optimal transport solution, and generalize the idea of IPOT to a new method for computing Wasserstein barycenter. We provide convergence analysis of IPOT and experiments showing our new methods outperform the state-of-the-art methods in terms of both effectiveness and efficiency.

研究动机与目标

• 解决机器学习和图像处理中精确Wasserstein距离计算的高计算成本与数值不稳定性问题。
• 克服如Sinkhorn距离等正则化变体的局限性，后者在正则化参数较小时会导致性能下降。
• 开发一种可扩展且数值稳定的精确最优传输距离计算方法。
• 基于最优传输解简化生成模型架构。
• 将IPOT推广至高效计算Wasserstein中位数。

提出的方法

• 该方法采用不精确邻近点（IPOT）框架，其中邻近算子通过在概率单纯形上投影来近似求解。
• 每次迭代通过单纯形投影以不精确解的方式执行邻近步骤，从而降低计算开销。
• 该算法设计确保即使在子问题解不精确的情况下仍具备收敛性保证。
• 通过将邻近框架推广至多个测度，将该方法扩展至计算Wasserstein中位数。
• 该方法通过直接使用最优传输解而无需正则化，简化了生成建模。
• 提供了收敛性分析，以确保在弱假设下实现全局收敛。

实验结果

研究问题

• RQ1 不精确邻近点方法能否实现精确Wasserstein距离的快速且稳定计算？
• RQ2 IPOT与如Sinkhorn等正则化方法相比，在数值稳定性和性能方面表现如何？
• RQ3 IPOT能否被有效推广以高效计算Wasserstein中位数？
• RQ4 在邻近步骤中使用单纯形投影是否能保持收敛性与准确性？
• RQ5 该方法能否简化并改进基于最优传输的生成建模？

主要发现

• IPOT在计算精确Wasserstein距离方面，收敛速度更快且精度更高，优于当前最先进的方法。
• 即使在正则化参数较小时，该方法仍保持数值稳定性，避免了正则化变体中常见的性能下降。
• 实验结果表明，IPOT在多个基准测试中均表现出更高的有效性和效率。
• 基于IPOT的生成模型架构简化后，带来了更高的训练稳定性和更优的样本质量。
• IPOT向Wasserstein中位数计算的推广，实现了该问题的高效且精确求解。
• 收敛性分析证实IPOT在标准假设下具备全局收敛性，验证了其理论鲁棒性。