[论文解读] A Smoothed Dual Approach for Variational Wasserstein Problems

Marco Cuturi, Gabriel Peyré|arXiv (Cornell University)|Mar 9, 2015

Geometric Analysis and Curvature Flows参考文献 33被引用 9

一句话总结

本文通过将熵正则化与Wasserstein距离的对偶公式相结合，提出了一种用于变分Wasserstein问题的平滑对偶方法，实现了快速、可微且数值稳定的优化。关键贡献在于对偶目标函数及其梯度的闭式计算，显著提升了Wasserstein中位数计算和梯度流等任务的可扩展性与稳定性。

ABSTRACT

Variational problems that involve Wasserstein distances have been recently proposed to summarize and learn from probability measures. Despite being conceptually simple, such problems are computationally challenging because they involve minimizing over quantities (Wasserstein distances) that are themselves hard to compute. We show that the dual formulation of Wasserstein variational problems introduced recently by Carlier et al. (2014) can be regularized using an entropic smoothing, which leads to smooth, differentiable, convex optimization problems that are simpler to implement and numerically more stable. We illustrate the versatility of this approach by applying it to the computation of Wasserstein barycenters and gradient flows of spacial regularization functionals.

研究动机与目标

• 解决涉及Wasserstein距离的变分问题的计算不可行性，这些问题是凸的，但由于最优传输计算的复杂性而难以优化。
• 克服标准Wasserstein距离在优化框架中非可微和数值不稳定的缺点，尤其是在大规模或复杂问题中。
• 通过将原始问题转化为平滑、凸且可微的对偶形式，实现Wasserstein中位数和梯度流的高效计算。
• 提供一个统一框架，不仅支持中位数，还支持一般正则化项（如总变差）在涉及Wasserstein距离的变分问题中的应用。

提出的方法

• 对Wasserstein距离的对偶公式应用熵平滑，将原始非光滑优化问题转化为光滑、凸问题。
• 利用Legendre-Fenchel对偶性，将正则化后的Wasserstein距离表示为可闭式求值的对偶目标函数。
• 利用矩阵指数和Gibbs分布，推导出对偶目标函数、其梯度和Hessian矩阵的闭式表达式，从而实现高效优化。
• 利用对偶目标函数的光滑性，应用一阶和二阶优化方法（如L-BFGS），并保证收敛性和稳定性。
• 通过在能量泛函中引入正则化项（如总变差），将对偶公式扩展至处理中位数和梯度流。
• 利用对偶公式计算对多个直方图的梯度，支持图像分割和时空正则化等应用。

实验结果

研究问题

• RQ1 熵正则化能否与对偶公式结合，使变分Wasserstein问题在计算上可行且可微？
• RQ2 如何为优化目的，以闭式表达计算正则化Wasserstein距离的对偶？
• RQ3 该平滑对偶方法在计算Wasserstein中位数时，能在多大程度上提升数值稳定性和收敛速度？
• RQ4 该方法能否扩展以处理梯度流和图像处理应用中的非可分正则化项（如总变差）？
• RQ5 对偶目标函数及其梯度的光滑性和Lipschitz连续性具有怎样的理论保证？

主要发现

• 熵正则化Wasserstein距离的对偶是 $ C^\infty $ 光滑的，并具有闭式表达：$ W_\nu^*(g,h) = -\nu \log(\alpha^T K \beta) $，其中 $ \alpha = e^{g/\nu}, \beta = e^{h/\nu}, K = e^{-M/\nu} $。
• 对偶目标函数的梯度为 $ \nabla W_\nu^*(g,h) = \frac{1}{\alpha^T K \beta} \begin{bmatrix} \mathcal{K}_{\alpha\beta} \\ \mathcal{K}_{\beta\alpha} \end{bmatrix} $，从而支持高效优化。
• 对偶目标函数的Hessian矩阵被显式计算，并证明其为 $ 2/\nu $-Lipschitz连续，确保二阶方法的稳定收敛。
• 该方法实现了Wasserstein中位数的快速且稳定计算，尤其在结合总变差等额外正则化时效果更佳。
• 该框架支持涉及Wasserstein距离和空间正则化的通用变分问题，包括梯度流和图像分割任务。
• 数值结果表明，熵平滑能稳定优化过程并加速收敛，尤其在高维设置下表现显著。