[論文レビュー] Gradient descent algorithms for Bures-Wasserstein barycenters

Sinho Chewi, Tyler Maunu+2 more|arXiv (Cornell University)|Jan 6, 2020

Geometric Analysis and Curvature Flows参考文献 33被引用数 28

ひとこと要約

本稿では、測度のBures-Wasserstein重心を計算する勾配降下法を開発し、測地的凸性の欠如にもかかわらず、Polyak-Łojasiewicz (PL) 不等式を活用することで、グローバルな収束速度を確立した。主な貢献は、ガウス測度のBures-Wasserstein多様体上でPL不等式を証明したことであり、この設定における一次元最適化手法の最初のグローバル収束速度を実現した。

ABSTRACT

We study first order methods to compute the barycenter of a probability distribution $P$ over the space of probability measures with finite second moment. We develop a framework to derive global rates of convergence for both gradient descent and stochastic gradient descent despite the fact that the barycenter functional is not geodesically convex. Our analysis overcomes this technical hurdle by employing a Polyak-Lojasiewicz (PL) inequality and relies on tools from optimal transport and metric geometry. In turn, we establish a PL inequality when $P$ is supported on the Bures-Wasserstein manifold of Gaussian probability measures. It leads to the first global rates of convergence for first order methods in this context.

研究の動機と目的

• Bures-Wasserstein幾何における Wasserstein 重心を計算するための一次元最適化手法を開発すること。
• 測度空間上の非凸設定における勾配降下法の理論的収束保証の欠如に対処すること。
• 重心関数の測地的凸性の欠如にもかかわらず、グローバルな収束速度を確立すること。
• ガウス測度のBures-Wasserstein多様体上でPolyak-Łojasiewicz (PL) 不等式を証明すること。
• この非ユークリッド的最適化文脈において、確率的および標準的勾配降下法の最初のグローバル収束速度を実現すること。

提案手法

• Bures-Wasserstein多様体上のガウス測度の重心関数に対して、Polyak-Łojasiewicz (PL) 不等式を導出する。
• 最適輸送および計量幾何の道具を用いて、非凸設定における収束を分析する。
• PL不等式を応用し、勾配降下法および確率的勾配降下法のグローバル線形収束速度を確立する。
• 一般化測地線およびMonge-Ampère方程式を用いて、測度空間内の経路に沿った密度の挙動を分析する。
• 輸送写像および共分散行列を用いて、重心関数の Wasserstein 勾配を特徴付ける。
• 関数が一般化測地線に沿って対数密度の下で凸であることを確立し、曲率に基づく解析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 測地的凸性の欠如にもかかわらず、Bures-Wasserstein 重心関数に対する勾配降下法のグローバル収束速度を確立できるか？
• RQ2 ガウス測度の Bures-Wasserstein 多様体上での重心関数に対して、Polyak-Łojasiewicz (PL) 不等式が成立するか？
• RQ3 この設定における Wasserstein 重心を計算する勾配降下法および確率的勾配降下法のグローバル収束速度は何か？
• RQ4 Bures-Wasserstein 多様体の幾何は、非凸最適化における収束保証の導出をどのように可能にするか？
• RQ5 PL 不等式を用いて、重心計算における統計的一貫性とアルゴリズム的効率のギャップを埋められるか？

主な発見

• 重心関数は、$ \zeta $-正則なガウス測度の Bures-Wasserstein 多様体上で、定数 $ C_{\mathsf{PL}} = \zeta^2/4 $ の PL 不等式を満たす。
• Bures-Wasserstein 重心問題における勾配降下法および確率的勾配降下法の両方に対して、グローバル線形収束速度が確立された。
• PL 不等式は、すべての $ b \in \mathcal{S}_\zeta $ に対して一様に成立する。ここで $ \mathcal{S}_\zeta $ は、固有値が $[\zeta, 1]$ 内にある中心付きガウス分布の集合である。
• 収束速度は最小固有値 $ \zeta $ に依存し、より良い条件付けがなされれば収束が速くなる。
• 関数 $ \rho \mapsto \ln\|\rho\|_{L^\infty} $ が一般化測地線に沿って凸であることが解析で確立され、これは重要な技術的結果である。
• 本研究は、ガウス分布の全多様体上における Bures-Wasserstein 重心の文脈で、一次元最適化手法に対する最初のグローバル収束保証を提供した。