[論文レビュー] Distributed stochastic optimization with gradient tracking over strongly-connected networks

Ran Xin, Anit Kumar Sahu+2 more|arXiv (Cornell University)|Mar 18, 2019

Distributed Control Multi-Agent Systems参考文献 33被引用数 13

ひとこと要約

本稿では、強い連結な有向ネットワーク上で、エージェントが局所的で滑らかで強く凸なコスト関数の和を最小化するために、確率的1次オラクルを用いる分散確率的最適化アルゴリズムS-ABを提案する。行および列の確率的重み行列を用いてグローバル勾配を追跡し、一貫性を強制することで、十分に小さい定数ステップサイズのもとで、二重確率的重みや固有ベクトル推定を必要とせずに、グローバル最小値の近傍への期待値における線形収束を達成する。

ABSTRACT

In this paper, we study distributed stochastic optimization to minimize a sum of smooth and strongly-convex local cost functions over a network of agents, communicating over a strongly-connected graph. Assuming that each agent has access to a stochastic first-order oracle ($\mathcal{SFO}$), we propose a novel distributed method, called $\mathcal{S}$-$\mathcal{AB}$, where each agent uses an auxiliary variable to asymptotically track the gradient of the global cost in expectation. The $\mathcal{S}$-$\mathcal{AB}$ algorithm employs row- and column-stochastic weights simultaneously to ensure both consensus and optimality. Since doubly-stochastic weights are not used, $\mathcal{S}$-$\mathcal{AB}$ is applicable to arbitrary strongly-connected graphs. We show that under a sufficiently small constant step-size, $\mathcal{S}$-$\mathcal{AB}$ converges linearly (in expected mean-square sense) to a neighborhood of the global minimizer. We present numerical simulations based on real-world data sets to illustrate the theoretical results.

研究の動機と目的

• 任意の強い連結な有向グラフ上で動作する分散確率的最適化手法の開発を目的とする。二重確率的重みの必要性を回避すること。
• 局所的コスト関数が滑らかで強く凸であり、エージェントが確率的1次オラクルにのみアクセスできる状況において、グローバル最小値の近傍への線形収束を実現すること。
• 従来の有向グラフにおける勾配追跡手法で遅延を引き起こす可能性がある別個の固有ベクトル推定ステップの必要性を排除すること。
• 重み行列の左および右固有ベクトルを用いて非2ノルムにおける収縮を特徴づけることで、鋭く明示的な収束バウンドを提供すること。
• MNISTデータセットを用いたロジスティック回帰設定において、実世界のデータを用いて理論的結果の妥当性を検証すること。

提案手法

• S-ABは2段階の更新を用いる：エージェントは自身と近隣の解推定値の重み付き平均を、行確率的重み行列を用いて行う。
• 同時に、エージェントは列確率的重み行列を用いて、グローバル勾配の期待値推定を実現する補助的勾配追跡変数を維持・更新する。
• 各エージェントは、自身の局所的確率的勾配推定値と、近隣の勾配推定値の重み付き平均を組み合わせて、グローバル勾配トラッカーを更新する。
• 二重確率的重みを回避するため、任意の強い連結な有向グラフに適用可能である。
• 収束解析は、リャプノフ関数の構築と、行および列確率的行列の固有値特性に基づくステップサイズの条件の導出に依存する。
• 重み行列のスペクトル半径および固有ベクトルに基づき、ステップサイズの明示的上界が導出され、期待値の平均二乗意味での線形収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 任意の強い連結な有向グラフ上で、二重確率的重みを必要とせずに、分散確率的最適化アルゴリズムが線形収束を達成できるか？
• RQ2 有向ネットワークにおいて、勾配追跡と確率的1次オラクルを効果的に組み合わせることで、一貫性と最適性の両方を保証できるか？
• RQ3 グローバル最小値の近傍への線形収束を保証するためのステップサイズおよびネットワークトポロジーの明示的条件は何か？
• RQ4 重み行列が対称でない場合に特に、2ノルム収縮に依存しないことで、収束解析を鋭く明示的に行えるか？
• RQ5 提案されたS-ABアルゴリズムは、実世界のデータにおいて、非確率的および集中型確率的ベースラインと比較して実際の性能でどのように差をつけるか？

主な発見

• S-ABは、十分に小さい定数ステップサイズのもとで、二重確率的重みがなくても、グローバル最小値の近傍への期待値平均二乗意味での線形収束を達成する。
• ステップサイズの上界は、重み行列のスペクトル特性に基づき、α < (1−σ²_A)(πᵀ_r π_c) / (lκ∥π_r∥₂∥π_c∥₂) × √( (1−σ²_B) / (384hrhc(64 + n∥π_c∥²₂)) ) として明示的に導出された。
• グラフが強い連結で、重み行列が原始的であれば、ネットワークが有向で通信が非対称であっても、アルゴリズムは線形に収束する。
• MNISTデータを用いた数値実験では、S-ABは非確率的AB法を上回り、特にテスト精度および残差減衰の観点で集中型確率的勾配降下法（C-SGD）に近い性能を達成する。
• 収束結果における誤差バウンドは、ステップサイズが小さくなるとともに勾配ノイズの分散が小さくなるにつれて消えていくため、ノイズおよびステップサイズ選択に対してロバストであることが確認された。
• 2ノルム収縮に依存しない解析により、行および列確率的行列の左および右固有ベクトルから導かれるノルムを用いることで、より鋭い収束バウンドが得られた。