[論文レビュー] Decoupled Asynchronous Proximal Stochastic Gradient Descent with Variance Reduction

Zhouyuan Huo, Bin Gu+1 more|arXiv (Cornell University)|Sep 22, 2016

Stochastic Gradient Optimization Techniques参考文献 18被引用数 4

ひとこと要約

本稿では、大規模な機械学習を対象に、分散型非同期近接確率勾配法としてのDAP-SVRGを提案する。近接演算をワーカーに移管し、分散低減勾配を活用することで、強い凸問題において線形収束を達成し、従来の非同期手法の遅い$O(1/T)$の収束速度を克服するとともに、スケーラビリティを維持し、サーバー負荷を低減する。

ABSTRACT

In the era of big data, optimizing large scale machine learning problems becomes a challenging task and draws significant attention. Asynchronous optimization algorithms come out as a promising solution. Recently, decoupled asynchronous proximal stochastic gradient descent (DAP-SGD) is proposed to minimize a composite function. It is claimed to be able to off-loads the computation bottleneck from server to workers by allowing workers to evaluate the proximal operators, therefore, server just need to do element-wise operations. However, it still suffers from slow convergence rate because of the variance of stochastic gradient is nonzero. In this paper, we propose a faster method, decoupled asynchronous proximal stochastic variance reduced gradient descent method (DAP-SVRG). We prove that our method has linear convergence for strongly convex problem. Large-scale experiments are also conducted in this paper, and results demonstrate our theoretical analysis.

研究の動機と目的

• 確率勾配の分散が高いために非同期近接確率勾配法の収束が遅いという問題に対処する。
• サーバーの計算負担を軽減するため、近接演算をワーカーにオフロードすることで、反復を高速化する。
• 非同期かつ分散環境下で強い凸問題に対して線形収束を達成する。
• 分散低減と分離された非同期更新を組み合わせることで、大規模な機械学習におけるスケーラビリティと効率性を向上させる。

提案手法

• 分散低減勾配を用いることで、確率的更新におけるノイズを低減する非同期近接確率SGDの変種、DAP-SVRGを提案する。
• サーバーから近接演算を分離し、ワーカーが局所的に近接写像を計算できるようにする。
• 各$T$反復ごとに新しい基準点$\tilde{x}$を取得するスナップショット機構を採用し、分散低減のための制御変数を計算する。
• 時間遅れ$\tau$を伴うワーカーからの古くなった勾配を使用し、安定性解析により遅れの影響を制限する。
• パラメータ更新にワーカー側で近接作用素$\text{Prox}_{\eta,h}(\cdot)$を適用し、$x_{\text{new}} = \text{Prox}_{\eta,h}(x_{\text{old}} - \eta v_t)$と更新する。
• リャプノフ解析を用いて収束を確立し、期待される最適性のずれが反復回数に対して線形に減少することを示す。

実験結果

リサーチクエスチョン

• RQ1 分散低減を分離された非同期近接更新と効果的に組み合わせることで、より速い収束を達成できるか？
• RQ2 近接演算をワーカーにオフロードすることで、収束性を保ちつつサーバー負荷を低減できるか？
• RQ3 古くなった勾配と非滑らか regularization が存在する非同期環境でも、線形収束を保証できるか？
• RQ4 時間遅れ$\tau$が収束に与える影響は何か？また、安定性を保証するためにその影響を制限できるか？

主な発見

• DAP-SVRGは、定数学習率のもとで$O(1/\sqrt{T})$の収束速度しか達成しないDAP-SGDとは異なり、強い凸問題において線形収束を達成する。
• 遅れのある勾配が存在する非同期設定でも、遅れ$\tau$が有界であれば、線形収束を維持する。
• 近接演算を分離することで、サーバーは要素ごとの更新のみを実行するため、計算オーバーヘッドが顕著に低減される。
• 理論的解析により、期待される最適性のずれが反復回数に対して線形に減少することが示され、収束速度は$\eta$、$L$、$\mu$、$\tau$に依存する。
• 分散低減機構により、$\mathbb{E}\|v_t - \nabla f(x_{d(t)})\|_2^2$が有界であることが保証され、これは線形収束にとって極めて重要である。