[论文解读] Differential Properties of Sinkhorn Approximation for Learning with Wasserstein Distance

Giulia Luise, Alessandro Rudi+2 more|arXiv (Cornell University)|May 30, 2018

Mathematical Analysis and Transform Methods参考文献 1被引用 75

一句话总结

本论文证明尖锐 Sinkhorn 距离和正则化 Sinkhorn 距离的光滑性，推导出尖锐 Sinkhorn 距离的显式梯度，并展示它们在与 Wasserstein 距离相关的学习中的应用，包括普遍一致性和学习速率，并有初步实验支持。

ABSTRACT

Applications of optimal transport have recently gained remarkable attention thanks to the computational advantages of entropic regularization. However, in most situations the Sinkhorn approximation of the Wasserstein distance is replaced by a regularized version that is less accurate but easy to differentiate. In this work we characterize the differential properties of the original Sinkhorn distance, proving that it enjoys the same smoothness as its regularized version and we explicitly provide an efficient algorithm to compute its gradient. We show that this result benefits both theory and applications: on one hand, high order smoothness confers statistical guarantees to learning with Wasserstein approximations. On the other hand, the gradient formula allows us to efficiently solve learning and optimization problems in practice. Promising preliminary experiments complement our analysis.

研究动机与目标

• 通过在准确性与可处理性之间权衡，推动在 Wasserstein 距离学习中使用 Sinkhorn 距离。
• 证明标准和尖锐 Sinkhorn 距离都是光滑的 (C^{∞})，并推导用于学习的实用梯度计算。
• 为使用 Sinkhorn 损失的估计量提供理论学习保证（一致性和收敛速率）。
• 通过 Sinkhorn 损失和重心学习来展示其适用性，并给出初步经验性证据。

提出的方法

• 分析正则化 Sinkhorn 问题的对偶形式，并使用隐函数定理证明 T_{\lambda}(a,b) 在 (a,b) 处光滑。
• 给出关于尖锐 Sinkhorn 距离 S_{\lambda} 的封闭式梯度，形式涉及对偶解 (α_{*},β_{*}) 和传输计划 T_{\lambda}（Eq. 14–15）。
• 给出 Algorithm 1，利用对偶目标的 Hessian 和低秩更新高效计算 ∇_{a}S_{\lambda}(a,b)。
• 使用该梯度公式进行尖锐 Sinkhorn 距离的重心计算，并在定性上与正则化 Sinkhorn 重心进行比较。
• 将光滑 Sinkhorn 损失嵌入到结构化预测学习框架中，并分析普遍一致性和学习速率（Theorem 4，Theorem 5）。
• 讨论计算复杂性以及在学习任务中计算梯度和应用这些损失的实际注意事项。

实验结果

研究问题

• RQ1 尖锐与正则化 Sinkhorn 距离具备哪些微分性质？
• RQ2 我们是否可以为尖锐 Sinkhorn 距离计算出显式梯度，以实现基于优化的学习？
• RQ3 在监督/结构化预测设置中，光滑的 Sinkhorn 损失是否能提供理论学习保证（一致性和收敛速率）？
• RQ4 在实践中，尖锐 Sinkhorn 重心与正则化 Sinkhorn 重心的比较如何？尖锐 Sinkhorn 是否能提供更接近 Wasserstein 重心的近似？
• RQ5 梯度计算的实际计算成本是多少？它们如何随问题规模增长？

主要发现

• 两种 Sinkhorn 距离在它们定义域的内部都是 C^{\infty}（光滑）的。
• 给出尖锐 Sinkhorn 距离 S_{\lambda} 的显式梯度公式，涉及对偶解和传输计划（Eq. 14）。
• 梯度计算简化为对偶 Hessian 的处理与一个低秩更新，从而实现实际优化（Algorithm 1）。
• 作者在将光滑 Sinkhorn 损失最小化于结构化预测框架中的学习方法上建立了普遍一致性（Theorem 4）。
• 在标准正则性条件下，他们获得了提出的估计量的学习速率界（Theorem 5）。
• 初步实验表明，尖锐 Sinkhorn 重心可以显著比正则化 Sinkhorn 重心更尖锐，在简单情境下与 Wasserstein 重心行为一致（Example 1 和 Fig. 2）。