[论文解读] Computing Kantorovich-Wasserstein Distances on $d$-dimensional histograms using $(d+1)$-partite graphs

Gennaro Auricchio, Federico Bassetti+2 more|arXiv (Cornell University)|May 18, 2018

Point processes and geometric inequalities参考文献 29被引用 5

一句话总结

该论文提出了一种新颖的方法，通过将问题表述为(d+1)-部图上的无容量最小费用流问题，精确计算d维直方图之间的二阶Kantorovich-Wasserstein距离，从而降低计算复杂度和内存使用。该方法利用沿主轴方向的可分成本结构，在图像和生物医学数据上相较于标准线性规划和Sinkhorn方法实现了显著的速度提升和可扩展性。

ABSTRACT

This paper presents a novel method to compute the exact Kantorovich-Wasserstein distance between a pair of $d$-dimensional histograms having $n$ bins each. We prove that this problem is equivalent to an uncapacitated minimum cost flow problem on a $(d+1)$-partite graph with $(d+1)n$ nodes and $dn^{\frac{d+1}{d}}$ arcs, whenever the cost is separable along the principal $d$-dimensional directions. We show numerically the benefits of our approach by computing the Kantorovich-Wasserstein distance of order 2 among two sets of instances: gray scale images and $d$-dimensional biomedical histograms. On these types of instances, our approach is competitive with state-of-the-art optimal transport algorithms.

研究动机与目标

• 解决计算d维直方图之间二阶Kantorovich-Wasserstein距离的高计算成本问题。
• 通过利用沿d维主方向的基底成本函数可分结构，减少内存和运行时间开销。
• 开发一种可扩展且高效的网络流公式，使其在大规模直方图实例上优于标准线性规划和基于Sinkhorn的方法。
• 在真实世界数据集（包括灰度图像和高维生物医学流式细胞术数据）上展示该方法的有效性。

提出的方法

• 将问题重新表述为具有(d+1)n个节点和dn^{(d+1)/d}条弧的(d+1)-部图上的无容量最小费用流问题，利用平方ℓ2范数成本函数的可分结构。
• 构建一个流网络，其中节点表示d+1层中各直方图箱，弧表示相邻层中箱之间的运输成本，成本由ℓ2基底距离导出。
• 使用网络单纯形算法求解该网络，这是最小费用流问题的前沿方法，可保证获得精确解。
• 该公式的有效性基于成本函数沿d个主方向可分的假设，该假设在W2距离中使用的平方ℓ2范数下成立。
• 该方法通过将结构化流网络思想扩展到基于ℓ2的最优传输，推广了先前针对ℓ1和ℓ∞范数的工作。
• 使用合成数据和真实世界数据集，将该方法与标准二部图公式和Sinkhorn算法进行了比较。

实验结果

研究问题

• RQ1 结构化的(d+1)-部图公式是否能减小具有可分成本函数的d维直方图最优传输问题的规模和复杂度？
• RQ2 在图像和生物医学直方图数据上，该方法在运行时间和内存使用方面与标准线性规划和基于Sinkhorn的方法相比如何？
• RQ3 随着直方图维度d和箱数n的增加，(d+1)-部公式在多大程度上具有可扩展性？
• RQ4 该方法是否能够处理大规模生物医学数据（如3D和4D流式细胞术直方图），这些数据因内存限制导致标准方法失效？

主要发现

• 对于64×64灰度图像，(d+1)-部方法将运行时间从二部图的16.3秒减少到2.2秒，弧数减少50倍。
• 对于128×128图像，(d+1)-部方法的运行时间为36.2秒，而二部图公式为1,368秒，弧数从约2.68亿条减少到约420万条。
• 对于N=32、d=3的3D流式细胞术数据，二部图公式因内存耗尽而无法运行，而4-部图公式在5.23秒内完成距离计算。
• 对于N=16、d=2的2D流式细胞术数据，(d+1)-部方法快8倍（0.003秒 vs 0.024秒），且弧数减少12倍。
• 通过将弧数从n²减少到dn^{(d+1)/d}，该方法显著节省了内存，使更大规模直方图的计算成为可能。
• 该方法在速度和精确性上均优于Sinkhorn算法，尤其在高维生物医学数据中表现突出，这些数据因内存限制而使其他方法失效。