[論文レビュー] Doubly Regularized Entropic Wasserstein Barycenters

Lénaïc Chizat|arXiv (Cornell University)|Mar 21, 2023

Groundwater flow and contamination studies被引用数 4

ひとこと要約

本稿では、内側（エントロピー）および外側（微分エントロピー）の正則化を組み合わせることで、不安定性の低減、滑らかさの向上、および未正則化 Wasserstein バリオセントラの近似を改善する統一的枠組みである二重正則化エントロピー Wasserstein バリオセントラを導入する。τ = λ/2 の場合、方法は λ² のオーダーのサブ最適性ギャップを達成し、バイアス除去を示し、グリッドフリーな最適化が可能になる。これは、グローバル収束を示すノイズ付き粒子勾配降下法を用いたものである。

ABSTRACT

We study a general formulation of regularized Wasserstein barycenters that enjoys favorable regularity, approximation, stability and (grid-free) optimization properties. This barycenter is defined as the unique probability measure that minimizes the sum of entropic optimal transport (EOT) costs with respect to a family of given probability measures, plus an entropy term. We denote it $(λ,τ)$-barycenter, where $λ$ is the inner regularization strength and $τ$ the outer one. This formulation recovers several previously proposed EOT barycenters for various choices of $λ,τ\geq 0$ and generalizes them. First, in spite of -- and in fact owing to -- being \emph{doubly} regularized, we show that our formulation is debiased for $τ=λ/2$: the suboptimality in the (unregularized) Wasserstein barycenter objective is, for smooth densities, of the order of the strength $λ^2$ of entropic regularization, instead of $\max\{λ,τ\}$ in general. We discuss this phenomenon for isotropic Gaussians where all $(λ,τ)$-barycenters have closed form. Second, we show that for $λ,τ>0$, this barycenter has a smooth density and is strongly stable under perturbation of the marginals. In particular, it can be estimated efficiently: given $n$ samples from each of the probability measures, it converges in relative entropy to the population barycenter at a rate $n^{-1/2}$. And finally, this formulation lends itself naturally to a grid-free optimization algorithm: we propose a simple \emph{noisy particle gradient descent} which, in the mean-field limit, converges globally at an exponential rate to the barycenter.

研究の動機と目的

• 内側および外側の両方の正則化を統合した一様な枠組みとして、既存のエントロピー最適輸送バリオセントラを統一・一般化すること。
• 提案されたバリオセントラ定式化における正則性、安定性、収束速度といった理論的性質を確立すること。
• （λ, λ/2）-バリオセントラが、未正則化 Wasserstein バリオセントラのバイアスのない近似を O(λ²) のサブ最適性ギャップで達成することを示すこと。
• 平均場極限においてグローバルに収束するグリッドフリー最適化アルゴリズムであるノイズ付き粒子勾配降下法を考案すること。
• 入力測度からの i.i.d. サンプリング下で、経験的バリオセントラが相対エントロピー意味で n⁻¹ᐟ² のレートで母集団バリオセントラに収束することを示すこと。

提案手法

• （λ, τ）-バリオセントラは、Fλ,τ(μ) = Gλ(μ) + τH(μ) の最小化問題の解として定義される。ここで Gλ(μ) はエントロピー最適輸送コストの和、H(μ) は微分エントロピーである。
• 内側正則化（λ）は、μ⊗ν との相対エントロピーを介して有限かつ良好に定義された EOT コストを保証する。一方、外側正則化（τ）は滑らかさと安定性を促進する。
• この定式化は、σref = [(dμ/dx)^α dx] ⊗ [(dν/dy)^α dy] という修正された基準測度を用いた標準的な EOT バリオセントラと同値であることが示された。ここで α = 1 − τ/λ である。
• グリッドフリー最適化のためのノイズ付き粒子勾配降下法（NPGD）アルゴリズムを提案。平均場極限において指数関数的レートでグローバル収束を示す。
• 理論的分析では、PDE と平均場極限を用いて収束性と安定性を確立し、特に τ = λ/2 の臨界ケースに注目する。
• 数値的検証では、双対問題における勾配上昇法を用い、1次元および2次元の例で Sinkhorn 散乱と未正則化バリオセントラとを比較した。

Figure 1 : Wasserstein distance $d^{-1}W_{2}(\mu^{*}_{\lambda,\tau},\mu^{*}_{0,0})=(\sqrt{b}-\sqrt{a})^{2}$ between $\mu^{*}_{\lambda,\tau}$ and $\mu^{*}_{0,0}$ from ( 21 ), with $a=1.0$ . The white line shows the best debiasing choice of $\tau^{*}(\lambda)$ from ( 22 ) for which this distance is $0

実験結果

リサーチクエスチョン

• RQ1 内側および外側のエントロピー正則化を組み合わせることで、Wasserstein バリオセントラの近似品質にどのような影響を与えるか？
• RQ2 τ = λ/2 の場合、サブ最適性ギャップが O(λ²) にまで低下し、O(max{λ, τ}) よりも良好になることで、バイアス除去が達成されるか？
• RQ3 二重正則化定式化は、入力測度の摂動に対して滑らかさと強い安定性を保証するか？
• RQ4 ノイズ付き粒子勾配降下法のようなグリッドフリー最適化法が、バリオセントラにグローバルに収束するか？
• RQ5 i.i.d. サンプリング下で、経験的バリオセントラの統計的収束速度はどの程度か？

主な発見

• τ = λ/2 の場合、（λ, τ）-バリオセントラは、未正則化 Wasserstein バリオセントラの目的関数において O(λ²) のサブ最適性ギャップを達成し、滑らかな密度関数に対してバイアス除去を示す。
• λ, τ > 0 のとき、バリオセントラは滑らかな密度関数を持ち、入力測度の摂動に対して強く安定している。
• 各入力測度から n 個の i.i.d. サンプルが得られる場合、経験的バリオセントラは相対エントロピー意味で n⁻¹ᐟ² のレートで母集団バリオセントラに収束する。
• （λ, τ）-バリオセントラは、累乗加重密度を含む修正基準測度 σref を用いた標準的な EOT バリオセントラとして解釈できる。
• ノイズ付き粒子勾配降下法は、平均場極限において指数関数的レートでバリオセントラにグローバルに収束し、局所的最小値を回避する。
• 数値実験により、τ = λ/2 が未正則化 Wasserstein バリオセントラの最も良好な近似を達成することが確認され、振動的挙動を示す Sinkhorn 散乱バリオセントラを上回っている。

(a) Densities $(\nu_{k})_{k=1}^{3}$ and $\mu^{*}_{0,0}$