[论文解读] Massively scalable Sinkhorn distances via the Nyström method

Jason M. Altschuler, Francis Bach+2 more|arXiv (Cornell University)|Dec 12, 2018

Probabilistic and Robust Engineering Design参考文献 53被引用 17

一句话总结

本文提出了一种大规模可扩展的Sinkhorn距离计算算法，通过Nyström方法近似核矩阵，并结合Sinkhorn归一化。借助低秩近似和稳定性分析，该方法实现了次二次时间与内存复杂度，使计算规模比以往方法大数百倍，同时保持高精度。

ABSTRACT

The Sinkhorn "distance", a variant of the Wasserstein distance with entropic regularization, is an increasingly popular tool in machine learning and statistical inference. However, the time and memory requirements of standard algorithms for computing this distance grow quadratically with the size of the data, making them prohibitively expensive on massive data sets. In this work, we show that this challenge is surprisingly easy to circumvent: combining two simple techniques---the Nyström method and Sinkhorn scaling---provably yields an accurate approximation of the Sinkhorn distance with significantly lower time and memory requirements than other approaches. We prove our results via new, explicit analyses of the Nyström method and of the stability properties of Sinkhorn scaling. We validate our claims experimentally by showing that our approach easily computes Sinkhorn distances on data sets hundreds of times larger than can be handled by other techniques.

研究动机与目标

• 解决大规模机器学习应用中标准Sinkhorn距离计算的二次方时间与内存复杂度问题。
• 实现在标准方法变得不可行的大规模数据集上高效计算Sinkhorn距离。
• 通过Nyström方法和Sinkhorn归一化提供近似精度的理论保证。
• 在远超以往方法的数据集上展示方法的实证可扩展性。

提出的方法

• 该方法应用Nyström方法，对由平方欧氏距离导出的核矩阵进行低秩近似。
• 采用自适应采样与加倍技巧，提升Nyström近似的准确性。
• 将近似的核矩阵作为输入，输入至Sinkhorn归一化算法，以计算正则化最优传输距离。
• 理论分析建立了在核近似下Sinkhorn归一化的稳定性边界，确保误差可控。
• 将核近似误差边界与Sinkhorn投影稳定性相结合，推导出整体精度保证。
• 应用舍入过程，确保最终传输计划满足边缘约束。

实验结果

研究问题

• RQ1 Nyström方法能否与Sinkhorn归一化有效结合，实现可扩展的最优传输计算？
• RQ2 针对所得Sinkhorn距离近似，可提供哪些理论精度保证？
• RQ3 与现有方法相比，该方法在大规模数据集上的实际可扩展性如何？
• RQ4 核近似误差与Sinkhorn归一化稳定性对最终距离估计的影响是什么？

主要发现

• 所提方法实现了次二次时间与内存复杂度，复杂度为O(n^{1.5})或更优，与标准O(n^2)复杂度形成对比。
• 该方法使n > 10^6规模的数据集上的Sinkhorn距离计算成为可能，远超标准方法n ≈ 10^4的限制。
• 理论分析证明，Nyström近似与Sinkhorn归一化结合可实现有界误差，且误差显式依赖于有效维度与采样规模。
• 实证结果表明，即使Nyström采样规模相对较小，方法仍保持高精度，展现出强鲁棒性。
• 该方法在核近似下保持稳定，误差边界通过Bregman散度与传输多面体的Hausdorff距离分析推导得出。
• 在非网格或非结构化设置下，该方法优于以往的可扩展方法（如基于网格的卷积或泰勒展开），表现更优。