[论文解读] Sinkhorn Divergences for Unbalanced Optimal Transport

Thibault Séjourné, Jean Feydy+3 more|arXiv (Cornell University)|Oct 28, 2019

Point processes and geometric inequalities参考文献 70被引用 24

一句话总结

本文提出了一种新型损失函数——非平衡Sinkhorn散度，通过将非平衡最优传输与熵正则化相结合，提升了对异常值、缺失数据和采样噪声的鲁棒性。该方法确保了凸性、正定性以及弱收敛的度量化，且在广泛的非平衡设置下，相关Sinkhorn算法具有线性收敛性。

ABSTRACT

Optimal transport induces the Earth Mover's (Wasserstein) distance between probability distributions, a geometric divergence that is relevant to a wide range of problems. Over the last decade, two relaxations of optimal transport have been studied in depth: unbalanced transport, which is robust to the presence of outliers and can be used when distributions don't have the same total mass; entropy-regularized transport, which is robust to sampling noise and lends itself to fast computations using the Sinkhorn algorithm. This paper combines both lines of work to put robust optimal transport on solid ground. Our main contribution is a generalization of the Sinkhorn algorithm to unbalanced transport: our method alternates between the standard Sinkhorn updates and the pointwise application of a contractive function. This implies that entropic transport solvers on grid images, point clouds and sampled distributions can all be modified easily to support unbalanced transport, with a proof of linear convergence that holds in all settings. We then show how to use this method to define pseudo-distances on the full space of positive measures that satisfy key geometric axioms: (unbalanced) Sinkhorn divergences are differentiable, positive, definite, convex, statistically robust and avoid any "entropic bias" towards a shrinkage of the measures' supports.

研究动机与目标

• 开发一种用于比较概率测度的鲁棒损失函数，能够有效抵抗异常值、缺失数据和采样噪声。
• 将非平衡最优传输与熵正则化相结合，以增强稳定性与计算效率。
• 为新提出的散度建立理论保证，包括凸性、正定性以及弱收敛的度量化。
• 分析相关Sinkhorn算法在非平衡设置下的收敛特性。
• 在三维形状配准与三维场景光流估计中展示该方法的实际优势。

提出的方法

• 提出非平衡Sinkhorn散度作为非平衡最优传输的对称化、正则化版本，其推导基于熵正则化与Csiszàr φ-散度。
• 提出熵正则化非平衡OT问题的对偶形式，从而通过Sinkhorn算法实现高效计算。
• 利用Sinkhorn算法在成本函数与正则化参数满足温和假设的条件下，实现该散度的线性收敛计算。
• 将对偶框架应用于控制OT值对经验测度的敏感性，从而在再生核Hilbert空间（RKHS）中实现泛化保证。
• 采用对偶势函数的Sobolev正则性分析，推导在扰动下的收敛速率与稳定性边界。
• 采用基于核的范数与通用核，确保弱∗收敛的度量化，从而在几何敏感性上优于标准φ-散度。

实验结果

研究问题

• RQ1 非平衡最优传输结合熵正则化是否能产生稳定、凸性、正定性且能度量化弱收敛的散度？
• RQ2 在一般非平衡设置下，非平衡OT的Sinkhorn算法是否具有线性收敛性？
• RQ3 与标准最优传输或φ-散度相比，所提出的散度在鲁棒性方面对异常值与采样噪声的改善效果如何？
• RQ4 针对测度的经验近似，该非平衡Sinkhorn散度的敏感性可建立何种理论保证？
• RQ5 该方法能否在真实世界问题（如三维形状配准与场景光流估计）中有效应用？

主要发现

• 非平衡Sinkhorn散度具备凸性、正定性，并能度量化弱收敛，确保了测度之间有意义的几何比较。
• 相关Sinkhorn算法在广泛非平衡设置下实现线性收敛，支持高效计算。
• 在三维场景光流估计与梯度流应用中，该方法展现出对异常值与采样噪声的显著鲁棒性提升。
• 理论边界表明，该散度在经验近似下具有稳定性，误差受对偶势函数Sobolev范数的控制。
• 对偶势函数在Sobolev空间中表现出正则性，其范数在ε → 0时呈O(1/ε^{s−1})量级，支持收敛性分析。
• 该框架通过RKHS中的PAC框架实现泛化保证，误差边界依赖于对偶函数空间中经验测度的收敛性。