[论文解读] Doubly Regularized Entropic Wasserstein Barycenters

Lénaïc Chizat|arXiv (Cornell University)|Mar 21, 2023

Groundwater flow and contamination studies被引用 4

一句话总结

本文提出了双重正则化熵 Wasserstein 平均，这是一种统一框架，结合了内部（熵）和外部（微分熵）正则化，以提升未正则化 Wasserstein 平均的稳定性、平滑性和逼近性。当 τ = λ/2 时，该方法实现了 λ² 阶的次优性间隙，表明其具有去偏性，并通过带噪声粒子梯度下降法实现了无网格优化，且在全局收敛下表现良好。

ABSTRACT

We study a general formulation of regularized Wasserstein barycenters that enjoys favorable regularity, approximation, stability and (grid-free) optimization properties. This barycenter is defined as the unique probability measure that minimizes the sum of entropic optimal transport (EOT) costs with respect to a family of given probability measures, plus an entropy term. We denote it $(λ,τ)$-barycenter, where $λ$ is the inner regularization strength and $τ$ the outer one. This formulation recovers several previously proposed EOT barycenters for various choices of $λ,τ\geq 0$ and generalizes them. First, in spite of -- and in fact owing to -- being \emph{doubly} regularized, we show that our formulation is debiased for $τ=λ/2$: the suboptimality in the (unregularized) Wasserstein barycenter objective is, for smooth densities, of the order of the strength $λ^2$ of entropic regularization, instead of $\max\{λ,τ\}$ in general. We discuss this phenomenon for isotropic Gaussians where all $(λ,τ)$-barycenters have closed form. Second, we show that for $λ,τ>0$, this barycenter has a smooth density and is strongly stable under perturbation of the marginals. In particular, it can be estimated efficiently: given $n$ samples from each of the probability measures, it converges in relative entropy to the population barycenter at a rate $n^{-1/2}$. And finally, this formulation lends itself naturally to a grid-free optimization algorithm: we propose a simple \emph{noisy particle gradient descent} which, in the mean-field limit, converges globally at an exponential rate to the barycenter.

研究动机与目标

• 将现有的熵最优传输平均统一并推广到一个同时包含内部与外部正则化的统一框架下。
• 建立所提出平均形式的理论性质，如正则性、稳定性及收敛速率。
• 证明当 (λ, λ/2)-平均时，可实现对未正则化 Wasserstein 平均的去偏逼近，次优性为 O(λ²)。
• 开发一种无网格优化算法——带噪声粒子梯度下降法，该算法在平均场极限下能全局收敛至平均。
• 证明在从输入测度中进行独立同分布采样时，平均具有光滑密度，并以 n⁻¹ᐟ² 的速率在相对熵意义下收敛至总体平均。

提出的方法

• 将 (λ, τ)-平均定义为 Fλ,τ(μ) = Gλ(μ) + τH(μ) 的最小化点，其中 Gλ(μ) 为熵最优传输成本之和，H(μ) 为微分熵。
• 内部正则化（λ）通过相对于 μ⊗ν 的相对熵确保 EOT 成本为有限且行为良好，而外部正则化（τ）则促进平滑性与稳定性。
• 该公式被证明等价于使用修改后的参考测度 σref = [(dμ/dx)^α dx] ⊗ [(dν/dy)^α dy] 的标准 EOT 平均，其中 α = 1 − τ/λ。
• 提出一种带噪声粒子梯度下降（NPGD）算法用于无网格优化，该算法在平均场极限下以指数速率实现全局收敛。
• 理论分析利用 PDE 和平均场极限建立收敛性与稳定性，重点关注临界情形 τ = λ/2。
• 数值验证采用对偶问题的梯度上升法，并与 Sinkhorn 散度平均及未正则化平均在 1D 和 2D 例子中进行比较。

Figure 1 : Wasserstein distance $d^{-1}W_{2}(\mu^{*}_{\lambda,\tau},\mu^{*}_{0,0})=(\sqrt{b}-\sqrt{a})^{2}$ between $\mu^{*}_{\lambda,\tau}$ and $\mu^{*}_{0,0}$ from ( 21 ), with $a=1.0$ . The white line shows the best debiasing choice of $\tau^{*}(\lambda)$ from ( 22 ) for which this distance is $0

实验结果

研究问题

• RQ1 结合内部与外部熵正则化如何影响 Wasserstein 平均的逼近质量？
• RQ2 当 τ = λ/2 时，(λ, τ)-平均是否可实现 O(λ²) 阶的次优性间隙，而非 O(max{λ, τ})，从而表明其具有去偏性？
• RQ3 双重正则化公式是否能确保在输入测度扰动下，平均的平滑性与强稳定性？
• RQ4 像带噪声粒子梯度下降这样的无网格优化方法是否能实现对平均的全局收敛？
• RQ5 在独立同分布采样下，经验平均向总体平均的统计收敛速率是多少？

主要发现

• 当 τ = λ/2 时，(λ, τ)-平均在未正则化 Wasserstein 平均目标函数中实现了 O(λ²) 阶的次优性间隙，表明对光滑密度具有去偏性。
• 当 λ, τ > 0 时，平均具有光滑密度，并在输入测度扰动下表现出强稳定性。
• 在每个输入测度中独立同分布抽取 n 个样本时，经验平均以 n⁻¹ᐟ² 的速率在相对熵意义下收敛至总体平均。
• (λ, τ)-平均可解释为使用涉及幂加权密度的修改后参考测度 σref 的标准 EOT 平均。
• 带噪声粒子梯度下降在平均场极限下以指数速率全局收敛至平均，成功逃逸局部极小值。
• 数值实验表明，τ = λ/2 时对未正则化 Wasserstein 平均的逼近效果最佳，优于表现出振荡行为的 Sinkhorn 散度平均。

(a) Densities $(\nu_{k})_{k=1}^{3}$ and $\mu^{*}_{0,0}$