[論文レビュー] Continuous and Discrete-Time Analysis of Stochastic Gradient Descent for Convex and Non-Convex Functions

Xavier Fontaine, Valentin De Bortoli+1 more|arXiv (Cornell University)|Apr 8, 2020

Stochastic Gradient Optimization Techniques参考文献 40被引用数 6

ひとこと要約

本稿は、時間非定常な確率微分方程式（SDE）を用いた連続時間近似を用いて、確率的勾配降下法（SGD）を厳密に近似し、凸関数および非凸関数の両方に対して漸近的でない収束バウンドを確立する。先行研究と比較してより弱い仮定のもとで収束結果をより厳密に示し、非凸関数に対しては緩められた Łojasiewicz 型条件を用いて有限時間収束を導出する。

ABSTRACT

This paper proposes a thorough theoretical analysis of Stochastic Gradient Descent (SGD) with decreasing step sizes. First, we show that the recursion defining SGD can be provably approximated by solutions of a time inhomogeneous Stochastic Differential Equation (SDE) in a weak and strong sense. Then, motivated by recent analyses of deterministic and stochastic optimization methods by their continuous counterpart, we study the long-time convergence of the continuous processes at hand and establish non-asymptotic bounds. To that purpose, we develop new comparison techniques which we think are of independent interest. This continuous analysis allows us to develop an intuition on the convergence of SGD and, adapting the technique to the discrete setting, we show that the same results hold to the corresponding sequences. In our analysis, we notably obtain non-asymptotic bounds in the convex setting for SGD under weaker assumptions than the ones considered in previous works. Finally, we also establish finite time convergence results under various conditions, including relaxations of the famous Łojasiewicz inequality, which can be applied to a class of non-convex functions.

研究の動機と目的

• 離散的SGDと連続時間SDEモデルの理論的ギャップを埋め、理解を向上させること。
• 既存の文献と比較してより弱い仮定のもとで、凸設定におけるSGDの漸近的でない収束バウンドを確立すること。
• 緩められた Łojasiewicz 型不等式を用いて収束解析を非凸関数へと拡張すること。
• 長期間の挙動と収束速度を解析するための、SDEに対する新しい比較技術を開発すること。
• 連続時間の収束結果を、理論的保証を伴って離散的SGD設定へと再帰的に適用すること。

提案手法

• 弱および強近似定理を用いて、SGDの再帰的定義を時間非定常SDEとして形式化する。
• SDEに対する新しい比較技術を用いて、長期的挙動と収束速度を解析する。
• 凸関数に対する期待される最適性ギャップの漸近的でないバウンドを確立する。
• 連続時間解析を適応させ、SGD系列の離散的収束結果を導出する。
• 非凸関数における多項式減衰を扱えるように、Łojasiewicz不等式の緩められたバージョンを導入する。
• これらの緩められた条件下で、非凸関数のクラスに対して有限時間収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 SGDの再帰的定義は、弱および強の両意味で時間非定常SDEによって厳密に近似可能か？
• RQ2 連続時間解析を用いることで、凸最適化におけるSGDに対してどのような漸近的でない収束バウンドが得られるか？
• RQ3 非凸設定で有限時間収束を可能にするために、Łojasiewicz不等式はどのように緩和可能か？
• RQ4 長期間の挙動と収束速度を解析するために、SDEに対してどのような新しい比較技術が必要か？
• RQ5 連続時間の結果は、理論的保証を伴ってどの程度まで離散的SGD設定へと再帰的に適用可能か？

主な発見

• 本稿は、従来の要件よりも弱い仮定のもとで、凸関数におけるSGDの漸近的でない収束バウンドを確立した。
• SGDの再帰的定義が弱および強の両意味で時間非定常SDEによって近似可能であることを証明し、連続時間解析を可能にした。
• 緩められた Łojasiewicz 型条件の下で、非凸関数のクラスに対して有限時間収束を導出した。
• SDEに対する新しい比較技術が開発され、それらは独立した理論的価値を持ち、収束解析を支援した。
• 連続時間解析が成功裏に離散的SGD設定へと再帰的適用され、元のSGD系列の理論的保証付き収束結果が得られた。
• 本フレームワークにより、特に制約の少ない仮定のもとで、先行研究と比較して凸最適化におけるよりタイトな収束バウンドが得られた。