[論文レビュー] On the Complexity of Approximating Wasserstein Barycenter

Alexey Kroshnin, Darina Dvinskikh+4 more|arXiv (Cornell University)|Jan 24, 2019

Topological and Geometric Data Analysis参考文献 52被引用数 32

ひとこと要約

本稿では、m個の離散確率測度のWasserstein重心を近似する際の計算複雑性を、2つのエントロピー正則化に基づく手法、すなわち反復Bregman射影（IBP）と加速されたプライマル・デュアル勾配降下法を用いて分析する。IBPはε-精度を達成するのにO(mn²/ε²)の演算を要するが、加速勾配降下法ではこの値がO(mn².⁵/ε)にまで低下する。両手法とも、正則化パラメータγがεに比例する必要があるため、高精度な計算では不安定性が生じる。本稿では、この問題を軽減するためのproximal-IBPアルゴリズムを提案し、集中型および分散型分散環境におけるスケーラビリティについても分析する。

ABSTRACT

We study the complexity of approximating Wassertein barycenter of $m$ discrete measures, or histograms of size $n$ by contrasting two alternative approaches, both using entropic regularization. The first approach is based on the Iterative Bregman Projections (IBP) algorithm for which our novel analysis gives a complexity bound proportional to $\frac{mn^2}{\varepsilon^2}$ to approximate the original non-regularized barycenter. Using an alternative accelerated-gradient-descent-based approach, we obtain a complexity proportional to $\frac{mn^{2.5}}{\varepsilon} $. As a byproduct, we show that the regularization parameter in both approaches has to be proportional to $\varepsilon$, which causes instability of both algorithms when the desired accuracy is high. To overcome this issue, we propose a novel proximal-IBP algorithm, which can be seen as a proximal gradient method, which uses IBP on each iteration to make a proximal step. We also consider the question of scalability of these algorithms using approaches from distributed optimization and show that the first algorithm can be implemented in a centralized distributed setting (master/slave), while the second one is amenable to a more general decentralized distributed setting with an arbitrary network topology.

研究の動機と目的

• m個のサイズnの離散確率測度のWasserstein重心を近似する際の計算複雑性を分析すること。
• 反復Bregman射影（IBP）と加速されたプライマル・デュアル勾配降下法の2つのエントロピー正則化に基づくアルゴリズムを比較すること。
• 非正則化重心をε-精度で近似するための最適な正則化パラメータγの選定方法を特定すること。
• 両アルゴリズムの集中型および分散型分散コンピューティング環境におけるスケーラビリティを調査すること。
• 小さな正則化パラメータγの悪影響を軽減するため、IBPの新しいプロキシマル変種であるproximal-IBPアルゴリズムを提案すること。

提案手法

• 正則化されたWasserstein重心問題を解くためのIBPアルゴリズムを分析し、収束速度の解析により、ε-精度を達成するための複雑性がO(mn²/ε²)であることを示した。
• 加速されたプライマル・デュアル勾配降下法を提案し、O(mn².⁵/ε)の複雑性を達成した。これは、IBPに比べて指数部においてε⁻¹の改善をもたらす。
• ε-精度を確保するためには正則化パラメータγがεに比例する必要があることが示され、高精度な計算では両手法に数値的不安定性が生じる。
• プロキシマル勾配フレームワーク内でのIBPをプロキシマルステップとして用いることで収束を安定化させる、proximal-IBPアルゴリズムを導入した。
• 両手法の分散環境におけるスケーラビリティを分析した。IBPはマスタースレーブ型の集中型アーキテクチャに適しているが、加速手法は任意のネットワークトポロジーをサポートする。
• グラフスパース化技術を用いて、通信行列の条件数χ(W)と非ゼロ要素数を制限し、効率的な分散計算を可能にした。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化を用いた反復Bregman射影（IBP）アルゴリズムを用いた場合、Wasserstein重心の近似における計算複雑性はどの程度か？
• RQ2 加速勾配降下法は、同じ問題に対してIBPよりも優れた複雑性境界を達成できるか？
• RQ3 非正則化重心をε-精度で近似するためには、エントロピー正則化パラメータγをどのように選べばよいか？
• RQ4 これらのアルゴリズムは分散コンピューティング環境においてどのようなスケーラビリティ特性を示すか？
• RQ5 γを小さくする必要がある高精度近似において、IBPのプロキシマル変種が数値的安定性を向上させられるか？

主な発見

• IBPアルゴリズムは、O(mn²/ε²)の演算でε-精度に到達し、1反復あたりO(n²)の勾配計算が複雑性の主な要因である。
• 加速されたプライマル・デュアル勾配降下法により、複雑性がO(mn².⁵/ε)にまで低下し、ε依存性においてIBPに比べて顕著な改善が得られた。
• ε-精度を達成するためには正則化パラメータγがεに比例する必要があり、高精度な計算では両手法に数値的不安定性が生じる。
• 提案されたproximal-IBPアルゴリズムは、IBPをプロキシマルステップとして再定式化することで、小さなγによる不安定性を軽減し、解を安定化させた。
• IBP手法はO(1/ε²)回の通信ラウンドを要する集中型分散環境に適しているが、加速手法はO(√n/ε)ラウンドで分散ネットワークをサポートする。
• グラフスパース化を用いることで、通信行列を圧縮でき、χ(W) = O(Poly(ln m))かつnnz(W) = O(m·Poly(ln m))とできるため、効率的な分散実装が可能になった。