[論文レビュー] Decentralize and Randomize: Faster Algorithm for Wasserstein Barycenters

Pavel Dvurechensky, Darina Dvinskikh+3 more|arXiv (Cornell University)|Jun 11, 2018

Point processes and geometric inequalities参考文献 38被引用数 21

ひとこと要約

本稿では、ネットワークに分散配置された連続確率測度の正則化 Wasserstein バリオセントラの分散型でランダム化されたアルゴリズムを提案する。加速されたプライマル・デュアル確率的勾配法と分散型コアリションを組み合わせることで、明示的な非漸近的複雑度バウンドを伴い、特にバリオセントラ支持サイズが大きい場合に、決定的手法を上回るより速い収束を達成する。

ABSTRACT

We study the decentralized distributed computation of discrete approximations for the regularized Wasserstein barycenter of a finite set of continuous probability measures distributedly stored over a network. We assume there is a network of agents/machines/computers, and each agent holds a private continuous probability measure and seeks to compute the barycenter of all the measures in the network by getting samples from its local measure and exchanging information with its neighbors. Motivated by this problem, we develop, and analyze, a novel accelerated primal-dual stochastic gradient method for general stochastic convex optimization problems with linear equality constraints. Then, we apply this method to the decentralized distributed optimization setting to obtain a new algorithm for the distributed semi-discrete regularized Wasserstein barycenter problem. Moreover, we show explicit non-asymptotic complexity for the proposed algorithm.

研究の動機と目的

• 大規模ネットワークにおける Wasserstein バリオセントラの分散計算における計算および通信の課題に対処すること。
• グローバルなネットワーク知識が不要で、連続測度からの局所的サンプリングを可能にするスケーラブルな分散型アルゴリズムの開発。
• 確率的最適化フレームワークにおけるランダム化を活用することで、決定的手法よりも速い収束を達成すること。
• ネットワークトポロジーおよび問題パラメータに依存する、明示的で非漸近的な反復およびサンプル複雑度バウンドの提供。

提案手法

• 線形等式制約を伴う凸最適化のための新しい加速プライマル・デュアル確率的勾配法を提案する。
• この手法を分散ネットワーク環境下での半離散的正則化 Wasserstein バリオセントラ問題に適用する。
• 連続確率測度からの局所的サンプリングと、近隣間の通信を用いて、反復的に局所的推定値を更新する。
• 問題の滑らかさを向上させ、収束速度を向上させるためにエントロピー正則化を採用する。
• 対称的かつ双確率的重み行列を用いたランダム化コアリジョンメカニズムを導入し、エージェントが局所的解を平均化する。
• ネットワークのスペクトル特性、特に重み行列の最大固有値 λ_max(W) に基づいて収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 分散型アルゴリズムは、Wasserstein バリオセントラ計算において、決定的手法よりも速い収束を達成できるか？
• RQ2 ランダム化は、大サポートサイズのバリオセントラ問題における収束速度にどのように影響するか？
• RQ3 正則化 Wasserstein バリオセントラのための分散型確率的アルゴリズムの明示的で非漸近的な複雑度は何か？
• RQ4 ネットワークトポロジー、特に λ_max(W) は、アルゴリズムの収束速度にどのように影響するか？
• RQ5 このアルゴリズムは、ガウス分布やボーン・ミーゼス分布などの連続分布のバリオセントラを分散環境で効果的に計算できるか？

主な発見

• 提案アルゴリズムは、ε-最適解に対して非漸近的反復複雑度 O(1/ε) を達成し、λ_max(W) を通じてネットワークトポロジーに明示的に依存する。
• 特にバリオセントラサポートサイズが大きい場合に、ランダム化が決定的手法よりも速い収束をもたらす。
• Erdős-Rényi およびサイクルグラフ上で、すべてのエージェントが共通のバリオセントラに収束することが実証された。
• 実験的結果から、一変量ガウス分布およびボーン・ミーゼス分布の両方において、局所的バリオセントラが共通の分布に収束することが示された。
• MNIST および IXI データセットにおける画像集約実験から、エージェントが構造的に代表的な画像に収束することが確認され、本手法の実用的有効性が裏付けられた。
• スターマッシュ構造のネットワークでは性能が著しく低下しており、これは λ_max(W) が高いためであり、ネットワーク構造が性能に顕著に影響することが示された。