[論文レビュー] Distributed Stochastic Gradient Descent and Convergence to Local Minima

Brian Swenson, Ryan Murray+2 more|arXiv (Cornell University)|Mar 5, 2020

Stochastic Gradient Optimization Techniques参考文献 36被引用数 10

ひとこと要約

この論文は非凸最適化における分散確率的勾配降下法（D-SGD）の収束保証を確立し、臨界点にほとんど確実に収束し、非退化した鞍点を避けることを示している。著者たちは、ODEに基づく確率的近似を用いてD-SGDの連続時間版を分析し、離散時間アルゴリズムに適用可能な簡略化された証明と洞察を導出している。

ABSTRACT

In centralized settings, it is well known that stochastic gradient descent (SGD) avoids saddle points. However, similar guarantees are lacking for distributed first-order algorithms in nonconvex optimization.The paper studies distributed stochastic gradient descent (D-SGD)--a simple network-based implementation of SGD. Conditions under which D-SGD converges to local minima are studied. In particular, it is shown that, for each fixed initialization, with probability 1 we have that: (i) D-SGD converges to critical points of the objective and (ii) D-SGD avoids nondegenerate saddle points. To prove these results, we use ODE-based stochastic approximation techniques. The algorithm is approximated using a continuous-time ODE which is easier to study than the (discrete-time) algorithm. Results are first derived for the continuous-time process and then extended to the discrete-time algorithm. Consequently, the paper studies continuous-time distributed gradient descent (DGD) alongside D-SGD. Because the continuous-time process is easier to study, this approach allows for simplified proof techniques and builds important intuition that is obfuscated when studying the discrete-time process alone.

研究の動機と目的

• 非凸最適化における分散第一階の手法の理論的理解のギャップを埋める。特に、局所的最小値への収束が保証されない点に焦点を当てる。
• 分散確率的勾配降下法（D-SGD）が、目的関数の臨界点にほとんど確実に収束することを確立する。
• 固定初期化のもとでD-SGDが非退化した鞍点を避けることを証明し、既知のSGDの性質を分散環境に拡張する。
• 連続時間ODE近似を用いて、解析を簡略化し、D-SGDの挙動に対する直感的な洞察を提供する。
• 連続時間分散勾配降下法（DGD）から得られた理論的結果を、離散時間D-SGDアルゴリズムに拡張する。

提案手法

• 論文は、D-SGDのダイナミクスを連続時間確率過程としてモデル化するため、ODEに基づく確率的近似技術を採用している。
• 離散時間D-SGDアルゴリズムは、解析的に取り扱いやすい連続時間常微分方程式（ODE）に近似される。
• 臨界点への収束および非退化した鞍点の回避は、まず連続時間ODEプロセスに対して証明される。
• これらの結果は、漸近的結合および安定性の議論を用いて、離散時間D-SGDアルゴリズムに拡張される。
• 解析は、確率的近似理論および力学系の道具を用いて、ほとんど確実な収束特性を研究する。
• この手法は固定初期化の仮定に依存し、パスワイズ解析を用いてほとんど確実な収束結果を確立する。

実験結果

リサーチクエスチョン

• RQ1 分散確率的勾配降下法（D-SGD）は、非凸最適化において目的関数の臨界点に収束するか？
• RQ2 固定初期化のもとでD-SGDは、集中型SGDと同様に非退化した鞍点を避けることができるか？
• RQ3 連続時間ODE近似は、離散時間分散最適化アルゴリズムの解析をどのように簡略化できるか？
• RQ4 連続時間分散勾配降下法（DGD）から得られた理論的保証は、離散時間D-SGDにどの程度転送可能か？
• RQ5 ODEベースの手法は、分散非凸最適化における収束性について、より明確な直感と簡略化された証明を提供できるか？

主な発見

• 各固定初期化に対して、D-SGDは目的関数の臨界点に確率1で収束する。
• D-SGDはほとんど確実に非退化した鞍点を避ける。これは、集中型SGDに知られている性質を分散環境に拡張したものである。
• D-SGDの連続時間ODE近似により、収束挙動の解析が簡略化され、直感的になる。
• 連続時間プロセスに対して導出された理論的結果は、厳密に離散時間D-SGDアルゴリズムに拡張されている。
• ODEベースの確率的近似は、非凸設定における分散第一階の手法の解析に強固なフレームワークを提供する。
• このアプローチにより、分散計算の性質にもかかわらず、D-SGDの収束ダイナミクスが集中型SGDと本質的に類似していることが明らかになった。