[論文レビュー] Distributed Delayed Stochastic Optimization

Alekh Agarwal, John C. Duchi|arXiv (Cornell University)|Apr 28, 2011

Stochastic Gradient Optimization Techniques参考文献 20被引用数 105

ひとこと要約

本稿では、マスターワーカー型アーキテクチャにおいて遅延付き確率的勾配を利用する分散確率的最適化フレームワークを提案し、滑らかな問題において遅延が漸近的に無視可能であることを示している。非同期性が存在する中でも、$n$ 個のノード上で $ olimits\mathcal{O}(1/\sqrt{nT})$ の最適収束レートを達成し、大規模な機械学習システムにおける通信のボトル neck や同期制約を克服している。

ABSTRACT

We analyze the convergence of gradient-based optimization algorithms that base their updates on delayed stochastic gradient information. The main application of our results is to the development of gradient-based distributed optimization algorithms where a master node performs parameter updates while worker nodes compute stochastic gradients based on local information in parallel, which may give rise to delays due to asynchrony. We take motivation from statistical problems where the size of the data is so large that it cannot fit on one computer; with the advent of huge datasets in biology, astronomy, and the internet, such problems are now common. Our main contribution is to show that for smooth stochastic problems, the delays are asymptotically negligible and we can achieve order-optimal convergence results. In application to distributed optimization, we develop procedures that overcome communication bottlenecks and synchronization requirements. We show $n$-node architectures whose optimization error in stochastic problems---in spite of asynchronous delays---scales asymptotically as $\order(1 / \sqrt{nT})$ after $T$ iterations. This rate is known to be optimal for a distributed system with $n$ nodes even in the absence of delays. We additionally complement our theoretical results with numerical experiments on a statistical machine learning task.

研究の動機と目的

• 大規模な機械学習における分散確率的最適化における非同期性と通信遅延の課題に対処すること。
• 滑らかな確率的問題において、勾配更新の遅延が収束レートを低下させないことを示すこと。
• $n$ 個の分散ノード全体にわたる効率的でスケーラブルな最適化を可能にする中央集権的制御フレームワークの開発。
• 従来の非同期部分勾配法における遅延勾配による漸近的性能低下を克服すること。
• 統計的機械学習タスクにおける数値実験を通じて理論的結果を検証すること。

提案手法

• マスターがパラメータを維持し、ワーカーから得られる遅延付き確率的勾配を集約するマスターワーカー型アーキテクチャを採用する。
• 適応的ステップサイズ $\alpha(t)$ を用いたミラー降下およびデュアル平均化更新を行い、$c \in (0,1]$ に対して $\mathcal{O}(1/t^c)$ のように減少させる。
• 勾配ノルムの有界性 $\mathbb{E}[\|g(t)\|_*^2] \leq G^2$ および目的関数のリプシッツ連続勾配の下で収束を分析する。
• 三角不等式および正則化子 $\psi$ の強凸性を用いて、遅延によるパラメータのずれの上限を導出する。
• ホルダーの不等式およびコーシー・シュワルツの不等式を用いて、遅延付きと現在の反復点間の期待二乗距離を制御する。
• 遅延が $\tau = \mathcal{O}(n)$ であっても、期待誤差が $\mathcal{O}(1/\sqrt{nT})$ に減少することを証明し、同期法の最適レートと一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 分散システムにおける遅延付き確率的勾配は、同期法と同等の収束レートを達成できるか？
• RQ2 非同期性は滑らかな確率的問題において、漸近的に性能を低下させる要因となるか？
• RQ3 中央集権的制御モデルは、分散最適化における通信ボトル neck を克服できるか？
• RQ4 勾配が非同期に計算される場合、遅延の大きさ $\tau$ が収束に与える影響は何か？
• RQ5 なぜ従来の非同期部分勾配法は最適レートに到達できないのか？そして、その欠陥をどのように是正できるか？

主な発見

• 滑らかな確率的問題において、遅延は漸近的に無視可能であり、非同期性によって収束レートが低下しない。
• 提案手法は、$\tau = \mathcal{O}(n)$ の遅延が存在する中でも、$n$ 個のノード上で最適な $\mathcal{O}(1/\sqrt{nT})$ 収束レートを達成する。
• 従来の非同期部分勾配法で見られる $\mathcal{O}(\sqrt{\tau/T})$ のペナルティを克服する。
• 理論的分析により、遅延によるパラメータ更新の期待誤差が有界であり、$T$ が増加するにつれて減少することが示された。
• 統計的機械学習タスクにおける数値実験により、理論的結果が妥当であることが確認され、手法の実用的有効性が裏付けられた。
• Langford ら [LSZ09] に技術的欠陥が特定され、制約下ではその主要補題が成立しないため、結果が非制約設定に限定されている。