[论文解读] Debiased Sinkhorn barycenters

Hicham Janati, Marco Cuturi+1 more|arXiv (Cornell University)|Jun 3, 2020

Geometric Analysis and Curvature Flows参考文献 28被引用 13

一句话总结

该论文提出去偏置的Sinkhorn均值，消除了熵正则化最优传输中固有的模糊偏差，同时保持了Sinkhorn算法的计算效率。通过使用对偶公式重新加权熵正则项，该方法在不损失速度或无需迭代优化的情况下实现了更清晰的均值。理论分析表明，在新度量下，单变量高斯分布的均值仍保持为高斯分布。

ABSTRACT

Entropy regularization in optimal transport (OT) has been the driver of many recent interests for Wasserstein metrics and barycenters in machine learning. It allows to keep the appealing geometrical properties of the unregularized Wasserstein distance while having a significantly lower complexity thanks to Sinkhorn's algorithm. However, entropy brings some inherent smoothing bias, resulting for example in blurred barycenters. This side effect has prompted an increasing temptation in the community to settle for a slower algorithm such as log-domain stabilized Sinkhorn which breaks the parallel structure that can be leveraged on GPUs, or even go back to unregularized OT. Here we show how this bias is tightly linked to the reference measure that defines the entropy regularizer and propose debiased Wasserstein barycenters that preserve the best of both worlds: fast Sinkhorn-like iterations without entropy smoothing. Theoretically, we prove that the entropic OT barycenter of univariate Gaussians is a Gaussian and quantify its variance bias. This result is obtained by extending the differentiability and convexity of entropic OT to sub-Gaussian measures with unbounded supports. Empirically, we illustrate the reduced blurring and the computational advantage on various applications.

研究动机与目标

• 解决熵正则化最优传输均值中固有的模糊偏差问题，该偏差会降低平均分布的质量。
• 在保留Sinkhorn算法计算优势的同时，消除熵正则化的平滑效应。
• 开发一种度量，实现快速、可微分且无模糊效应的均值计算，无需对数域稳定化或迭代梯度下降。
• 理论上刻画熵正则OT均值中的偏差，并证明在新框架下，单变量高斯分布的均值仍为高斯分布。
• 在图像、3D形状和MNIST嵌入任务上实证验证方法，显示其在清晰度和计算效率上的优势。

提出的方法

• 提出一种新度量 $\mathrm{S}_\varepsilon$，通过使用对偶公式重新加权熵正则项，消除偏差的同时保持可微性。
• 推导一种新型Sinkhorn类算法（算法1），使用去偏置度量计算均值，保留标准Sinkhorn的并行结构。
• 利用熵正则OT问题的对偶形式重新加权参考测度，有效消除标准熵项引入的偏差。
• 建立理论条件，使单变量高斯分布的熵正则OT均值保持为高斯分布，并量化方差偏差。
• 将熵正则OT的可微性和凸性结果扩展至具有无界支撑的次高斯测度，以支持理论分析。
• 使用迭代Bregman投影（IBP）实现该方法，通过修改核函数以保持计算效率和GPU兼容性。

实验结果

研究问题

• RQ1 能否在不损失计算效率的前提下消除熵正则化最优传输均值中的模糊偏差？
• RQ2 是否可能构造一种度量，保留Sinkhorn算法的快速并行化结构，同时消除熵引起的平滑效应？
• RQ3 在所提出的去偏置度量下，单变量高斯分布的均值行为如何？
• RQ4 在真实数据上，该方法与现有方法相比，在清晰度和计算速度方面表现如何？
• RQ5 能否在不依赖对数域稳定化或基于梯度的优化循环的前提下，高效计算去偏置均值？

主要发现

• 单变量高斯分布的去偏置Sinkhorn均值本身仍为高斯分布，其方差偏差量化的结果表明其显著低于标准熵正则均值。
• 所提方法在图像和3D形状重建任务中，生成的均值显著比标准熵正则OT和对数域稳定化Sinkhorn更清晰。
• 与基于梯度的替代方法（如Luise et al., 2018）相比，该算法速度提升2–3倍，且避免了小ε值下的数值不稳定性。
• 在MNIST嵌入任务中，基于去偏置均值的特征使随机森林分类器准确率达到92.4%，优于标准熵正则均值。
• 该方法保持与标准Sinkhorn相同的计算复杂度，支持高效的GPU加速，无需内层优化循环。
• 在嵌套椭圆和3D形状上的实证结果表明，即使在低正则化条件下，该方法也比基线方法更好地保持了几何结构。