[論文レビュー] Taming Convergence for Asynchronous Stochastic Gradient Descent with Unbounded Delay in Non-Convex Learning

Xin Zhang, Jia Liu+1 more|arXiv (Cornell University)|May 24, 2018

Stochastic Gradient Optimization Techniques参考文献 23被引用数 6

ひとこと要約

本稿は、非凸最適化における非有界勾配遅延を伴う非同期確率的勾配降下法（Async-SGD）およびその変種である Async-SGDI の収束速度を確立する。最適性誤差と非同期性に起因する誤差を統合した新しいリャプノフ関数を導入することで、Async-SGD に対して o(1/√k) の収束速度、Async-SGDI に対して o(1/k) の収束速度を証明した。非有界な遅延が収束性能に与える影響は、同期設定下でのオーダーと同程度であり、性能の劣化は顕著でないことが示された。

ABSTRACT

Understanding the convergence performance of asynchronous stochastic gradient descent method (Async-SGD) has received increasing attention in recent years due to their foundational role in machine learning. To date, however, most of the existing works are restricted to either bounded gradient delays or convex settings. In this paper, we focus on Async-SGD and its variant Async-SGDI (which uses increasing batch size) for non-convex optimization problems with unbounded gradient delays. We prove $o(1/\sqrt{k})$ convergence rate for Async-SGD and $o(1/k)$ for Async-SGDI. Also, a unifying sufficient condition for Async-SGD's convergence is established, which includes two major gradient delay models in the literature as special cases and yields a new delay model not considered thus far.

研究の動機と目的

• 非凸設定における非有界勾配遅延を伴う非同期SGDの収束解析が不足しているという問題に取り組む。
• 従来の研究が通常達成する O(1/√k) の境界に比べ、より強い収束速度を確立する。
• 既存の遅延モデルを一般化する、Async-SGD収束の包括的な十分条件を構築する。
• 増加するミニバッチサイズを用いる Async-SGDI の性能を、非有界遅延下で分析する。
• 合成非凸問題における実験を通じて理論的結果を検証する。

提案手法

• 最適性誤差と非同期性に起因する誤差を同時に追跡する、新しいリャプノフ関数を提案する。
• 反復回ごとのリャプノフ関数の期待値の減少を分析することで収束速度を導出する。
• 文献に登場する2つの主要な遅延モデルを特別ケースとして含む、勾配遅延に関する一般化された十分条件を導入する。
• ステップサイズが O(1/(√k log k)) に従う Async-SGD および増加するミニバッチサイズを用いる Async-SGDI にこの解析を適用する。
• 確率的近似理論とモーメントバウンドを用いて、非凸設定下での古くなった勾配の影響を制御する。
• 低ランク行列回復および共分散推定の数値実験を通じて、理論的収束速度の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 非有界な勾配遅延がある非凸最適化において、Async-SGD は収束可能か？
• RQ2 非有界な遅延下で、Async-SGD が o(1/√k) の収束を達成するためのステップサイズスケジュールは何か？
• RQ3 非有界な遅延下で、Async-SGDI の収束速度は Async-SGD と比べてどのように異なるか？
• RQ4 既存の遅延モデルを特別ケースとして含む包括的な勾配遅延仮定を定式化できるか？
• RQ5 理論的収束速度は、実用的な非凸機械学習問題においても成立するか？

主な発見

• 本稿は、ステップサイズが O(1/(√k log k)) に従う Async-SGD が、非有界な勾配遅延下でも非凸最適化において o(1/√k) の収束速度を達成することを証明した。
• 増加するミニバッチサイズを用いる Async-SGDI は、同じ非有界遅延設定下でより速い o(1/k) の収束速度を達成した。
• 2つの主要な文献上の遅延モデルを一般化する、Async-SGD収束のための新しい包括的十分条件を提案した。
• 実験結果から、o(1/√k) の収束速度が実際の状況でも達成されていることが確認され、Async-SGDI は標準的な Async-SGD よりも速く収束した。
• 数値実験では、O(1/(√k log k)) のステップサイズを用いる Async-SGD が、O(1/k) のステップサイズを用いる場合よりも優れた性能を示した。
• 理論的解析は、有界遅延、ポアソン分布、システム遅延分布を含む多様な遅延モデルにわたり有効であり、そのロバスト性が確認された。