[論文レビュー] Asynchronous Parallel Stochastic Gradient for Nonconvex Optimization

Xiangru Lian, Yijun Huang+2 more|arXiv (Cornell University)|Jun 27, 2015

Stochastic Gradient Optimization Techniques参考文献 31被引用数 238

ひとこと要約

この論文は、非凸最適化における非同期並列確率的勾配法に対して、初めてのエルゴディック収束速度 $O(1/\sqrt{K})$ を確立し、作業者数が $\sqrt{K}$ に制限される場合に線形スケールアップを証明した。非同期SGDが深層学習で実用的に成功する理由を、ネットワークベースおよび共有メモリシステムの両方の観点から分析することで理論的裏付けを提供した。

ABSTRACT

Asynchronous parallel implementations of stochastic gradient (SG) have been broadly used in solving deep neural network and received many successes in practice recently. However, existing theories cannot explain their convergence and speedup properties, mainly due to the nonconvexity of most deep learning formulations and the asynchronous parallel mechanism. To fill the gaps in theory and provide theoretical supports, this paper studies two asynchronous parallel implementations of SG: one is on the computer network and the other is on the shared memory system. We establish an ergodic convergence rate $O(1/\sqrt{K})$ for both algorithms and prove that the linear speedup is achievable if the number of workers is bounded by $\sqrt{K}$ ($K$ is the total number of iterations). Our results generalize and improve existing analysis for convex minimization.

研究の動機と目的

• 非凸最適化における非同期並列SGDの理論的ギャップを埋める。
• ネットワークベースおよび共有メモリ非同期SGDシステムにおける収束とスケールアップを分析する。
• 深層学習における非同期SGDの経験的成功を説明する厳密な収束速度を確立する。
• 従来の凸最適化解析を非凸設定に一般化する。

提案手法

• マスターワーカー型アーキテクチャを用いたコンピュータネットワーク上の非同期並列SGDを分析する。
• 並列更新を伴う共有メモリシステム上の非同期並列SGDを分析する。
• 確率的近似およびリャプノフ関数技術を用いて、$O(1/\sqrt{K})$ のエルゴディック収束速度を導出する。
• 作業者数が $O(\sqrt{K})$ の条件下で線形スケールアップを確立する。
• ネットワークおよび共有メモリモデルの両方を統一したフレームワークで扱う。
• 勾配誤差と収束を制限するために、確率的最適化および非凸解析の道具を適用する。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化における非同期並列SGDの収束速度を確立できるか？
• RQ2 非凸問題における非同期SGDで線形スケールアップが成立するか？
• RQ3 非同期状態下でのネットワークベースと共有メモリシステムの収束性能は、どのように比較できるか？
• RQ4 スケールアップの劣化が生じる前の作業者数の理論的限界は何か？
• RQ5 既存の凸最適化理論を非凸の深層学習設定に拡張できるか？

主な発見

• この論文は、ネットワークベースおよび共有メモリ非同期SGDの両方に対して、$O(1/\sqrt{K})$ のエルゴディック収束速度を確立した。
• 作業者数が $\sqrt{K}$ に制限される場合、線形スケールアップが達成可能であり、ここで $K$ は総反復回数を表す。
• 従来の凸最小化に限定された解析を一般化し、改善した。
• 収束速度は、深層学習で一般的な非凸目的関数に対しても成立する。
• この分析は、深層ニューラルネットワークの学習における非同期SGDの実用的成功の理論的基盤を提供する。
• 提示された作業者数の制限下では、非同期性が収束を妨げないことが確認された。