[論文レビュー] Robust Asynchronous Stochastic Gradient-Push: Asymptotically Optimal and Network-Independent Performance for Strongly Convex Functions

Alex Olshevsky, Ioannis Ch. Paschalidis+1 more|arXiv (Cornell University)|Nov 9, 2018

Stochastic Gradient Optimization Techniques参考文献 67被引用数 33

ひとこと要約

本稿では、遅延、損失、有向通信を伴う過酷なネットワーク環境下においても、各ノードが局所関数のノイズの多い勾配を計算する分散最適化のためのロバストな非同期確率的勾配プッシュ法を提案する。これは、最適な中央集権的勾配降下法の性能に漸近的に収束することを証明しており、リーマン勾配を持つ強い凸関数に対して、ネットワークに依存しない最適な収束レートを達成する。

ABSTRACT

We consider the standard model of distributed optimization of a sum of functions $F(\bz) = \sum_{i=1}^n f_i(\bz)$, where node $i$ in a network holds the function $f_i(\bz)$. We allow for a harsh network model characterized by asynchronous updates, message delays, unpredictable message losses, and directed communication among nodes. In this setting, we analyze a modification of the Gradient-Push method for distributed optimization, assuming that \begin{enumerate*}[label=( oman*)] \item node $i$ is capable of generating gradients of its function $f_i(\bz)$ corrupted by zero-mean bounded-support additive noise at each step, \item $F(\bz)$ is strongly convex, and \item each $f_i(\bz)$ has Lipschitz gradients. We show that our proposed method asymptotically performs as well as the best bounds on centralized gradient descent that takes steps in the direction of the sum of the noisy gradients of all the functions $f_1(\bz), \ldots, f_n(\bz)$ at each step.

研究の動機と目的

• 信頼性の低い非同期ネットワーク、メッセージの遅延・損失、有向通信を伴う分散最適化の課題に対処すること。
• ノイズの多い勾配とネットワークの予測不能さにかかわらず、最適な収束性能を維持する分散最適化アルゴリズムを設計すること。
• 同じノイズと関数の仮定のもとで、中央集権的勾配降下法と漸近的に同一の収束性能を達成すること。
• 強い非同期性が存在する中でも、ネットワークのトポロジーおよび通信ダイナミクスに依存しないアルゴリズムの性能を保証すること。

提案手法

• 有向ネットワークにおける非同期更新と信頼性の低い通信を扱えるように、勾配プッシュ法を適応する。
• 各ノードが局所関数 $f_i(\bz)$ の勾配を、平均がゼロで有界なサポートを持つノイズで汚染された形で生成する確率的勾配計算を導入する。
• 遅延または失われたメッセージが存在しても、重み付き平均を用いてネットワーク全体で勾配を集約する、コンSENSUSに基づく更新ルールを維持する。
• ノイズの多い勾配推定にかかわらず収束を保証するために、減少するステップサイズを採用する。
• ネットワークに依存しない収束解析フレームワークを用いて、漸近的最適性を証明する。
• 収束バウンドを確立するために、グローバル目的関数 $F(\bz)$ の強い凸性および各 $f_i(\bz)$ の勾配のリーマン連続性に依存する。

実験結果

リサーチクエスチョン

• RQ1 ノイズが多く、非同期的かつ信頼性の低いネットワーク環境下でも、分散最適化アルゴリズムは中央集権的勾配降下法と同等の漸近的収束レートを達成できるか？
• RQ2 本手法の性能は、メッセージの遅延や損失といったネットワークダイナミクスにどのようにスケーリングするか？
• RQ3 アルゴリズムの収束レートは、下位のネットワークトポロジーや通信パターンに依存しないか？
• RQ4 非同期性が存在する中で最適な収束を保証するための、局所関数およびノイズ分布に必要な条件は何か？

主な発見

• 提案手法は、すべてのノイズの多い勾配の和を用いて、中央集権的勾配降下法と同等の漸近的収束レートを達成する。
• 収束レートは最適であり、任意のメッセージ遅延や損失が存在する中でもネットワーク構造に依存しない。
• 同期化や信頼性のあるメッセージ配信を必要とせず、非同期更新および有向通信においても収束を維持する。
• 解析により、アルゴリズムの性能が中央集権的確率的勾配降下法の理論的限界と同じであることが示された。
• グローバル目的関数 $F(\bz)$ の強い凸性および各 $f_i(\bz)$ の勾配のリーマン連続性の仮定のもとで、収束が保証される。