[論文レビュー] Improved Complexity Bounds in Wasserstein Barycenter Problem

Darina Dvinskikh, Daniil Tiapkin|arXiv (Cornell University)|Oct 9, 2020

Geometric Analysis and Curvature Flows参考文献 22被引用数 6

ひとこと要約

本稿では、サイズ $n$ の $m$ 個の離散確率測度の Wasserstein バリオセントラの計算のための2つの新しいアルゴリズムを提案する。収束速度が向上している。最初のアルゴリズムは、特化したノルムを用いたミラー近接法を用い、高精度での数値的不安定性を回避しつつ、$ϪO(mn^2\sqrt{n}/\varepsilon)$ の複雑度を達成する。第二のアルゴリズムは、面積凸性と双対予測を活用し、既存のエントロピー正則化手法よりも理論的・実用的に優れた $ϪO(mn^2/\varepsilon)$ の最良の既知のレートを達成する。

ABSTRACT

In this paper, we focus on computational aspects of the Wasserstein barycenter problem. We propose two algorithms to compute Wasserstein barycenters of $m$ discrete measures of size $n$ with accuracy $\e$. The first algorithm, based on mirror prox with a specific norm, meets the complexity of celebrated accelerated iterative Bregman projections (IBP), namely $\widetilde O(mn^2\sqrt n/\e)$, however, with no limitations in contrast to the (accelerated) IBP, which is numerically unstable under small regularization parameter. The second algorithm, based on area-convexity and dual extrapolation, improves the previously best-known convergence rates for the Wasserstein barycenter problem enjoying $\widetilde O(mn^2/\e)$ complexity.

研究の動機と目的

• Wasserstein バリオセントラ問題の高精度解を求める際に、IBP などのエントロピー正則化手法に見られる数値的不安定性を解消すること。
• 正則化に依存せず、加速された IBP よりも速いか、同等の収束速度を達成する手法を開発すること。特に、正則化パラメータが小さい場合に性能が劣化するのを回避すること。
• 特に高精度応用を想定した場合に、既存の手法よりも優れた理論的複雑度境界を達成すること。
• 正則化に依存せず、小さな正則化パラメータでも性能を維持できる、反復 Bregman 投影（IBP）の数値的に安定した代替手法を提供すること。

提案手法

• 最初のアルゴリズムは、Wasserstein バリオセントラ問題に特化したプロキシ関数を用いたミラー近接法を採用し、正則化なしで安定した収束を可能にする。
• 第二のアルゴリズムは、バリオセントラ問題をサドルポイント問題に再定式化し、面積凸性の下で双対予測を適用することで、より高速な収束を実現する。
• 両手法ともエントロピー正則化を避けるため、正則化パラメータが小さい場合に生じる数値的不安定性を解消する。
• 高度な最適化技術、特に面積凸性と Nesterov 型予測を用いて、収束速度の向上を理論的に導出する。
• 基底コスト行列の構造と測度の数を用いて理論的複雑度境界を導出し、$n$ および $\varepsilon$ に対する依存性を改善する。
• MNIST、notMNIST、およびガウス分布を用いた実験により、真のバリオセントラへの収束を比較して手法を検証した。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化に依存せず、高精度でも安定性と正確性を維持する Wasserstein バリオセントラアルゴリズムを設計可能か？
• RQ2 正則化なしで、$\widetilde{O}(mn^2\sqrt{n}/\varepsilon)$ よりも速い収束速度を達成することは可能か？
• RQ3 面積凸性を活用した双対予測法は、既存の IBP に基づく手法と比較して、収束速度と数値的安定性の面でどのように異なるか？
• RQ4 ミラー近接法に基づくアルゴリズムは、小さな正則化パラメータを用いた IBP と比較して、実用的性能はいかがなっているか？

主な発見

• ミラー近接法に基づくアルゴリズムは、$\widetilde{O}(mn^2\sqrt{n}/\varepsilon)$ の複雑度を達成し、加速された IBP の最良の既知のレートと同等であるが、高精度での数値的不安定性がない。
• 双対予測法は、$\widetilde{O}(mn^2/\varepsilon)$ の優れた複雑度境界を達成し、Wasserstein バリオセントラ問題における既存のすべての手法を上回る。
• MNIST および notMNIST における実験では、正則化パラメータが小さい IBP は不安定になるが、提案手法はより正確なバリオセントラを生成した。
• ガウス分布では、両提案手法が正則化付き IBP よりも高速かつ正確に真のバリオセントラに収束し、特に高精度な状況で顕著に優れた性能を示した。
• 双対予測法は理論的複雑度が優れているが、初期反復ではサブプロブレムのコストが低いため、ミラー近接法が実用的収束特性において優れている。
• 結果から、IBP などのエントロピー正則化手法は正則化パラメータ $\gamma$ が小さくなりすぎると数値的に不安定になるが、提案手法は依然として安定であることが確認された。