[论文解读] Computational Optimal Transport: Complexity by Accelerated Gradient Descent Is Better Than by Sinkhorn's Algorithm

Pavel Dvurechensky, Alexander Gasnikov+1 more|arXiv (Cornell University)|Feb 12, 2018

Stochastic Gradient Optimization Techniques参考文献 2被引用 68

一句话总结

该论文分析两种用于近似离散分布之间 OT 距离的算法：带熵正则化的 Sinkhorn 和一种新颖的自适应原-对偶加速梯度下降（APDAGD）；APDAGD 在 ε 依赖性方面表现更好，并支持超越熵正则化的一般正则化。

ABSTRACT

We analyze two algorithms for approximating the general optimal transport (OT) distance between two discrete distributions of size $n$, up to accuracy $\varepsilon$. For the first algorithm, which is based on the celebrated Sinkhorn's algorithm, we prove the complexity bound $\widetilde{O}\left({n^2/\varepsilon^2} ight)$ arithmetic operations. For the second one, which is based on our novel Adaptive Primal-Dual Accelerated Gradient Descent (APDAGD) algorithm, we prove the complexity bound $\widetilde{O}\left(\min\left\{n^{9/4}/\varepsilon, n^{2}/\varepsilon^2 ight\} ight)$ arithmetic operations. Both bounds have better dependence on $\varepsilon$ than the state-of-the-art result given by $\widetilde{O}\left({n^2/\varepsilon^3} ight)$. Our second algorithm not only has better dependence on $\varepsilon$ in the complexity bound, but also is not specific to entropic regularization and can solve the OT problem with different regularizers.

研究动机与目标

• 证明等大小离散分布之间高效计算 OT 距离的需求
• 提供熵正则化 OT 使用 Sinkhorn 算法的改进复杂度界
• 引入 APDAGD 作为一个灵活、具有线搜索的加速方法，用于一般正则化
• 导出针对 APDAGD 求解 OT 的理论保证和 ε 依赖的复杂度
• 通过对图像般数据的数值实验演示实际性能

提出的方法

• 将 Sinkhorn’s algorithm 重新表述为求解带正则化的 OT 对偶问题的对偶更新，并推导改进的迭代次数界
• 给出带线搜索的自适应原-对偶加速梯度下降（APDAGD），用于一般强凸正则化的原-对偶更新
• 将 APDAGD 应用于熵正则化 OT，并推导收敛性和复杂度保证
• 开发算法 4，将 APDAGD 与投影到运输多面体 U(r,c) 的操作结合用于 OT 距离近似
• 证明在熵正则化条件下，该方法取得 ε-近似，且对 ε 与 ∥C∥∞ 有利的依赖
• 讨论核密度高成本 OT 计算的并行化可行性与实际考量

实验结果

研究问题

• RQ1 在使用 Sinkhorn’s algorithm 时，熵正则化 OT 是否可以比现有界更有效地近似？
• RQ2 自适应原-对偶加速梯度方法是否能在一般正则化下提供更快的 ε 精度 OT 近似？
• RQ3 所提出的 APDAGD 方法在 OT 上的 ε 依赖和范数常数依赖是什么？
• RQ4 该框架能否处理超越熵的非熵正则化，同时保持收敛性保证？
• RQ5 在离散化分布上、不同的 n 和正则化条件下，Sinkhorn 与 APDAGD 的实际性能差异如何？

主要发现

• Sinkhorn 的算法可以在 ε 内用 O(n^2 ∥C∥^2_∞ ln n / ε^2) 次算术运算近似 OT。
• APDAGD 实现 ε 近似需要 O(min(n^(9/4)/(√ε) ∥C∥∞ ln n / ε, n^2 ∥C∥∞ ln n / ε^2)) 次算术运算。
• APDAGD 方法不限于熵正则化，适用于一般强凸正则化。
• APDAGD 包含线搜索和基于对偶性间隙与约束不可行性的一种在线停止准则。
• 该框架支持并行化，在 OT 核 exp(−C/γ) 能高效应用时是实用的。
• 对 MNIST 派生数据的经验性实验显示 Sinkhorn 与 APDAGD 之间的实际性能差异。