[論文レビュー] Make Workers Work Harder: Decoupled Asynchronous Proximal Stochastic Gradient Descent

Yitan Li, Linli Xu+2 more|arXiv (Cornell University)|May 21, 2016

Stochastic Gradient Optimization Techniques参考文献 16被引用数 4

ひとこと要約

本稿では、計算負荷の高いプロキシマル操作をマスターよりワーカーに移管することで、並列処理が容易になる、分離型非同期近接確率的勾配降下法（DAP-SGD）を提案する。減少するステップサイズを用いる場合、収束速度はO(log T / T)を達成し、定数ステップサイズを用いる場合、エルゴディックなO(1/√T)の収束速度を達成する。非滑らかな正則化を伴う大規模機械学習におけるスケーラビリティの向上が図られる。

ABSTRACT

Asynchronous parallel optimization algorithms for solving large-scale machine learning problems have drawn significant attention from academia to industry recently. This paper proposes a novel algorithm, decoupled asynchronous proximal stochastic gradient descent (DAP-SGD), to minimize an objective function that is the composite of the average of multiple empirical losses and a regularization term. Unlike the traditional asynchronous proximal stochastic gradient descent (TAP-SGD) in which the master carries much of the computation load, the proposed algorithm off-loads the majority of computation tasks from the master to workers, and leaves the master to conduct simple addition operations. This strategy yields an easy-to-parallelize algorithm, whose performance is justified by theoretical convergence analyses. To be specific, DAP-SGD achieves an $O(\log T/T)$ rate when the step-size is diminishing and an ergodic $O(1/\sqrt{T})$ rate when the step-size is constant, where $T$ is the number of total iterations.

研究の動機と目的

• 従来の非同期近接確率的勾配降下法において、特に非滑らかな正則化子に対してマスターが高コストなプロキシマル操作を実行するというボトル neck を解消すること。
• ワーカーに近接ステップの計算を分散化することで、よりスケーラブルで並列処理に適したアルゴリズムを設計すること。
• 強い凸性とリプシッツ連続勾配の標準的仮定の下で、提案されたアルゴリズムに対する理論的収束保証を提供すること。
• 共有メモリおよびパラメータサーバー（パラメータサーバー）アーキテクチャの両方において、効率的な実装を可能にすること。

提案手法

• 各ワーカーが局所的な勾配更新に対してプロキシマル作用素を計算することで、マスターからプロキシマルステップを分離する。
• マスターはワーカーからの更新済みパラメータの要素ごとの加算のみを実行するため、計算負荷が著しく低減される。
• O(log T / T)の収束速度を達成するために、減少するステップサイズ則η_t = O(1/t)を採用する。
• 定数ステップサイズη = O(1/√T)を用いて、走査平均反復のエルゴディックなO(1/√T)の収束速度を達成する。
• 非同期更新の下での反復の収束を分析するために、テレスコピングおよび再帰的バウンディング技法を適用する。
• 強い凸性、勾配のリプシッツ連続性、正則化子の有界な部分勾配の仮定に基づいて、収束バウンズを導出する。

実験結果

リサーチクエスチョン

• RQ1 従来の非同期近接確率的勾配降下法におけるマスタ−の計算ボトル neck を、プロキシマル操作をワーカーにオフロードすることで軽減できるか？
• RQ2 マスターから近接ステップを分離することで、非同期更新下でも収束保証が維持されるか？
• RQ3 減少するステップサイズおよび定数ステップサイズを用いた場合に、理論的に確立可能なDAP-SGDアルゴリズムの収束速度は何か？
• RQ4 異なる正則化構造を伴うマルチコアおよびマルチマシン環境におけるスケーリング特性はいかがなっているか？
• RQ5 各正則化タイプごとにカスタム並列実装を必要とせずに、非滑らかな正則化子に対しても収束を維持できるか？

主な発見

• 減少するステップサイズを用いる場合、DAP-SGDはO(log T / T)の収束速度を達成し、類似アルゴリズムにおける最良の既知のレートと一致する。
• 定数ステップサイズを用いる場合、走査平均反復はエルゴディックなO(1/√T)の収束速度を達成する。これは確率的1次最適化手法の標準的レートである。
• 理論的分析により、強い凸性（f）、勾配のリプシッツ連続性、および正則化子の有界な部分勾配という標準的仮定の下で収束が保証されることが確認された。
• マスターが軽量な加算操作のみを実行するため、アルゴリズムは並列処理に非常に適しており、共有メモリおよびパラメータサーバー・アーキテクチャに適している。
• プロキシマル操作をワーカーにオフロードすることで、正則化項ごとのカスタム並列実装の必要性が回避され、フレームワークの柔軟性が向上する。
• 収束バウンズは再帰不等式およびテレスコピング和を用いて導出され、非同期性および遅延更新に対して堅牢であることが示された。