[論文レビュー] Decentralized Algorithms for Wasserstein Barycenters

Darina Dvinskikh|arXiv (Cornell University)|May 4, 2021

Statistical Mechanics and Entropy被引用数 5

ひとこと要約

本稿では、エントロピー正則化最適輸送の双対定式を用いて、計算コストが低い双対オракルとリプシッツ連続勾配を備えた手法を活用し、加速勾配法を可能にすることで、Wasserstein重心の分散型計算のためのアルゴリズムを提案する。主な貢献は、通信ラウンド数およびオラクル呼び出し回数における最適な複雑度バウンドであり、鞍点定式とミラー・プロクス法を用いて分散環境下で検証されている。

ABSTRACT

In this thesis, we consider the Wasserstein barycenter problem of discrete probability measures from computational and statistical sides. The statistical focus is estimating the sample size of measures necessary to calculate an approximation for Fréchet mean (barycenter) of a probability distribution with a given precision. For empirical risk minimization approaches, the question of the regularization is also studied together with proposing a new regularization which contributes to the better complexity bounds in comparison with quadratic regularization. The computational focus is developing algorithms for calculating Wasserstein barycenters: both primal and dual algorithms which can be executed in a decentralized manner. The motivation for dual approaches is closed-forms for the dual formulation of entropy-regularized Wasserstein distances and their derivatives, whereas the primal formulation has closed-form expression only in some cases, e.g., for Gaussian measures. Moreover, the dual oracle returning the gradient of the dual representation for entropy-regularized Wasserstein distance can be computed for a cheaper price in comparison with the primal oracle returning the gradient of the entropy-regularized Wasserstein distance. The number of dual oracle calls, in this case, will also be less, i.e., the square root of the number of primal oracle calls. This explains the successful application of the first-order dual approaches for the Wasserstein barycenter problem.

研究の動機と目的

• 離散確率測度のWasserstein重心を計算するための分散型アルゴリズムの開発。
• 与えられた精度で確率分布のフレシェ平均を近似するために必要な統計的サンプルサイズの分析。
• 二次正則化と比較して複雑度バウンドを改善する新しい正則化技術の提案。
• 双対および原実・双対定式を用いて、分散環境下での通信およびオラクル複雑度の最適性の確立。

提案手法

• エントロピー正則化Wasserstein距離の双対定式を用い、閉形式の勾配が得られ、効率的なオラクルアクセスが可能となる。
• 強い凸性から生じるリプシッツ連続勾配のため、双対目的関数に対して加速勾配降下法を適用する。
• Wasserstein重心問題の非正則化鞍点定式にミラー・プロクス法を適用する。
• 重み行列 $\sqrt{W}$ の平方根を用いた変数変換により、原実・双対問題を分散型に変換する。
• 分散環境におけるノイズの入った勾配推定をモデル化するため、$\sigma_{\psi}^{2}$-サブガウスィアン分散条件を満たす確率的双対オラクルを導入する。
• 通信グラフの条件数 $\chi(W)$ を用いて複雑度バウンドを導出し、通信およびオラクル複雑度の最適性を確立する。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化Wasserstein距離の双対定式は、原実手法と比較して、重心の分散型計算をより効率的に行えるか？
• RQ2 分散ネットワークにおけるWasserstein重心を計算するために、最適な通信ラウンド数およびオラクル呼び出し回数は何か？
• RQ3 提案された正則化は、二次正則化と比較して収束複雑度をどのように改善するか？
• RQ4 ミラー・プロクス法を用いた鞍点定式は、非正則化Wasserstein重心の分散環境下で最適な複雑度を達成できるか？
• RQ5 確率的勾配は、分散型Wasserstein重心計算における通信およびオラクル複雑度にどのような影響を及ぼすか？

主な発見

• 双対定式により、$\widetilde{O}\left(\sqrt{\frac{L}{\gamma}\chi(W)}\right)$ の通信ラウンドおよびオラクル呼び出し回数が達成され、対数要因を除いて既知の下界と一致する。
• 双対オラクル呼び出し回数が原実オラクル呼び出し回数の平方根にまで削減され、著しく効率が向上する。
• 強い凸性から生じる双対目的関数のリプシッツ連続勾配により、最適な反復回数を持つ加速勾配法の適用が可能となる。
• 確率的状況では、ノードごとのオラクル呼び出し回数は $\widetilde{O}\left(\max\left\{\frac{M^{2}\sigma_{\psi}^{2}}{\varepsilon^{2}}\chi(W), \sqrt{\frac{L}{\gamma}\chi(W)}\right\}\right)$ に有界となり、最適な通信ステップを持つ手法のクラスにおいて最適である。
• 提案手法は、決定的および確率的両設定で最適な複雑度を達成し、既知の下界と対数要因を除いて一致するバウンドを実現する。
• ミラー・プロクス法による鞍点定式により、最適収束速度とタイトな複雑度バウンドを備えた分散実装が可能となる。