[論文レビュー] Distributed Stochastic Gradient Descent: Nonconvexity, Nonsmoothness, and Convergence to Local Minima

Brian R. Swenson, Ryan Murray+2 more|arXiv (Cornell University)|Mar 5, 2020

Stochastic Gradient Optimization Techniques被引用数 16

ひとこと要約

この論文は、非凸かつ非滑らかの最適化設定における分散確率的勾配降下法（D-SGD）の理論的収束保証を確立する。D-SGDを連続時間の分散勾配フローとしてモデル化し、非自立系へと安定多様体理論を拡張することで、滑らかさの条件が緩い場合でも、D-SGDがほとんど確実に臨界点に収束し、サドル点を避けることを証明した。これは、集中型SGDの挙動を模倣するものである。

ABSTRACT

In centralized settings, it is well known that stochastic gradient descent (SGD) avoids saddle points and converges to local minima in nonconvex problems. However, similar guarantees are lacking for distributed first-order algorithms. The paper studies distributed stochastic gradient descent (D-SGD)--a simple network-based implementation of SGD. Conditions under which D-SGD avoids saddle points and converges to local minima are studied. First, we consider the problem of computing critical points. Assuming loss functions are nonconvex and possibly nonsmooth, it is shown that, for each fixed initialization, D-SGD converges to critical points of the loss with probability one. Next, we consider the problem of avoiding saddle points. In this case, we again assume that loss functions may be nonconvex and nonsmooth, but are smooth in a neighborhood of a saddle point. It is shown that, for any fixed initialization, D-SGD avoids such saddle points with probability one. Results are proved by studying the underlying (distributed) gradient flow, using the ordinary differential equation (ODE) method of stochastic approximation, and extending classical techniques from dynamical systems theory such as stable manifolds. Results are proved in the general context of subspace-constrained optimization, of which D-SGD is a special case.

研究の動機と目的

• D-SGDの臨界点への収束およびサドル点の回避を確立することで、分散型1次最適化における理論的ギャップを埋める。
• 集中型最適化の文脈で古典的に用いられる確率的近似および力学系の技法を、分散最適化に生じる非自立的かつ非古典的系へと拡張する。
• ニューラルネットワークにおける非滑らか活性化関数から生じる一般の非凸的かつ可能非滑らかな損失関数のもとでD-SGDを分析する。
• グローバル損失関数が非滑らかであっても、サドル点の近傍での滑らかさが保たれる限り、D-SGDがサドル点を避ける厳密な条件を提供する。
• 集中型最適化における既存の収束結果を、特に部分空間制約付き最適化に対して分散設定へと一般化する。

提案手法

• 確率的近似の常微分方程式（ODE）法を用いて、D-SGDを連続時間の分散勾配フロー（DGF）としてモデル化する。
• 非自立力学系への安定多様体理論の適用により、サドル点への非収束を分析する。
• サドル点まわりの線形化と、時間変動する力学系におけるヘッセ行列の固有値収束を検討する。
• 最適化問題における部分空間制約を扱うために、二次的ペナルティ定式化を導入する。
• 個々のエージェント関数が局所リプシッツ連続かつ非凸である場合に、臨界点への収束を確立する。
• 安定多様体上の測度論的議論を用いて、臨界点へのほとんど確実な収束および正則サドル点からのほとんど確実な回避を証明する。

実験結果

リサーチクエスチョン

• RQ1 損失関数が非凸的かつ可能非滑らかである場合、分散確率的勾配降下法（D-SGD）がどのような条件下で臨界点に収束するか。
• RQ2 グローバル損失関数が非滑らかであっても、サドル点の近傍での滑らかさが保たれる限り、D-SGDは非凸最適化においてサドル点を避けることができるか。
• RQ3 分散勾配フローに生じる非自立系へと、古典的安定多様体理論をどのように拡張できるか。
• RQ4 ネットワーク環境下でD-SGDが局所的最小値に収束し、サドル点に収束しないための必要十分条件は何か。
• RQ5 集中型SGDの理論的保証を、分散型でネットワークベースの1次アルゴリズムへとどの程度まで拡張できるか。

主な発見

• 非凸的かつ局所リプシッツ連続な損失関数に対して、D-SGDはグローバル目的関数の臨界点に確率1で収束する。
• 損失関数がサドル点の近傍で滑らかで、かつサドル点が正則である場合、D-SGDはそのサドル点を確率1で回避する。
• 個々のエージェント関数が非滑らかであっても、臨界点への収束が成立し、従来の結果が凸または凸の差分による正則化を要件としていたのを拡張する。
• サドル点回避は、非自立系への安定多様体理論の新規応用に基づくものであり、これは古典的結果ではカバーされていない。
• D-SGDの近似として連続時間の分散勾配フローを用い、サドル点近傍の脱出確率に関する測度論的議論により収束を証明する。
• 結果は一般の部分空間制約付き最適化フレームワークに有効であり、フェデレーテッドラーニングや分散型経験的リスク最小化を含む、広範な分散学習問題に適用可能である。