[论文解读] A Study of Performance of Optimal Transport

Yihe Dong, Yu Gao+3 more|arXiv (Cornell University)|May 3, 2020

Optimization and Packing Problems参考文献 30被引用 10

一句话总结

本文评估了用于计算最优传输（OT）距离的组合方法与矩阵缩放方法，结果表明，网络单纯形法和一种新型批量库恩-蒙克雷斯算法在所有测试数据集中均显著优于Sinkhorn和Greenkhorn方法，即使在低精度条件下，速度提升最高可达数量级。作者提出了一种新型批量KM变体，显著加速了分配问题中的精确OT计算。

ABSTRACT

We investigate the problem of efficiently computing optimal transport (OT) distances, which is equivalent to the node-capacitated minimum cost maximum flow problem in a bipartite graph. We compare runtimes in computing OT distances on data from several domains, such as synthetic data of geometric shapes, embeddings of tokens in documents, and pixels in images. We show that in practice, combinatorial methods such as network simplex and augmenting path based algorithms can consistently outperform numerical matrix-scaling based methods such as Sinkhorn [Cuturi'13] and Greenkhorn [Altschuler et al'17], even in low accuracy regimes, with up to orders of magnitude speedups. Lastly, we present a new combinatorial algorithm that improves upon the classical Kuhn-Munkres algorithm.

研究动机与目标

• 系统比较不同数据类型下精确与近似最优传输算法的运行时效率。
• 在实际场景中评估组合方法（如网络单纯形、拍卖算法、库恩-蒙克雷斯）与矩阵缩放方法（如Sinkhorn、Greenkhorn）的实用性能。
• 研究正则化参数对矩阵缩放方法中收敛性与准确性的影响。
• 开发并基准测试一种新型批量库恩-蒙克雷斯算法，以改进经典精确方法在分配问题中的表现。
• 评估在低精度容差下，OT计算中精度、运行时间与数值稳定性之间的权衡。

提出的方法

• 实现了并基准测试了用于精确OT计算的BLAS优化C++版本的网络单纯形、拍卖和库恩-蒙克雷斯算法。
• 通过引入对数流追踪机制，评估了矩阵缩放方法（Sinkhorn与Greenkhorn）的数值稳定性，防止溢出。
• 提出了一种库恩-蒙克雷斯算法的批量变体，可同时处理多个分配问题，以提升缓存效率并减少开销。
• 为确保近似算法在精度与速度之间权衡的公平比较，采用固定的近似因子1.1。
• 将代价矩阵缩放至最大值为1，以确保在不同数据集间正则化参数（η）的影响可公平比较。
• 通过测量迭代次数与运行时间随η的变化，开展收敛性分析，以研究精度与计算成本之间的权衡。

实验结果

研究问题

• RQ1 在不同数据领域中，组合算法（如网络单纯形与库恩-蒙克雷斯）是否在运行时间上显著优于矩阵缩放方法（如Sinkhorn与Greenkhorn）？
• RQ2 在实际应用中，正则化参数η的选择如何影响Sinkhorn与Greenkhorn的收敛速度与准确性？
• RQ3 库恩-蒙克雷斯算法的批量变体是否能在精确OT计算中实现显著的性能提升？
• RQ4 当允许10%的误差容限时，矩阵缩放方法在非单位需求/供给问题上是否仍具竞争力？
• RQ5 在矩阵缩放OT算法中，数值稳定性、精度要求与收敛速度之间存在怎样的实际权衡？

主要发现

• 组合方法，尤其是网络单纯形与新型批量库恩-蒙克雷斯算法，在所有测试数据集中的运行时间均比矩阵缩放方法高出数量级。
• 即使在10%误差容限下，Sinkhorn与Greenkhorn在任何非单位需求与供给的数据集上均未超越精确的Lemon NS算法，且Greenkhorn的运行时间至少慢一个数量级。
• 批量库恩-蒙克雷斯变体在单位需求问题（如CS100）上实现了亚毫秒级运行时间，而Sinkhorn耗时0.006秒，Greenkhorn耗时0.402秒，展现出显著的速度优势。
• 提高正则化参数η可提升准确性，但导致迭代次数呈超线性增长，使得大规模问题的高精度解在计算上不可行。
• 在高η值下，矩阵缩放方法需要更高精度的浮点数运算，导致数值不稳定并引发性能瓶颈。
• 尽管具有理论优势，Greenkhorn等矩阵缩放方法在实际中始终比精确的组合求解器更慢，即使允许近似计算。