[論文レビュー] Convergence Rates for the Stochastic Gradient Descent Method for Non-Convex Objective Functions

Benjamin Fehrman, Benjamin Gess+1 more|arXiv (Cornell University)|Apr 2, 2019

Stochastic Gradient Optimization Techniques参考文献 51被引用数 19

ひとこと要約

本稿は、グローバルな凸性や収縮仮定を必要としない非凸目的関数における確率的勾配降下法（SGD）の収束速度を確立する。局所的な滑らかさと最小値におけるヘッセ行列の非退化性の条件下で、非一意な最小値や対称性を持つニューラルネットワークにも適用可能な、明示的な確率的境界を伴った局所的収束を証明する。

ABSTRACT

We prove the local convergence to minima and estimates on the rate of convergence for the stochastic gradient descent method in the case of not necessarily globally convex nor contracting objective functions. In particular, the results are applicable to simple objective functions arising in machine learning.

研究の動機と目的

• グローバルな凸性や収縮仮定が成り立たない非凸機械学習問題におけるSGDの収束速度保証の欠如に対処する。
• ニューラルネットワークに一般的に見られる非一意な最小値や多様体型の最小値を扱えるように、グローバルではなく局所的な最小値集合におけるSGD収束を分析する。
• 最小値におけるヘッセ行列の局所的滑らかさと非退化性の条件下で、SGDの定量的収束速度を確立する。
• 最小値が孤立点でない場合でも、アルゴリズム出力がε-最適でない確率に対する確率的境界を提供する。
• ReLUまたは線形活性化関数を備えた単純なニューラルネットワークへの適用可能性を示す。この場合、重みの対称性により最小値が多様体を形成する。

提案手法

• 目的関数を期待値として定式化する：f(θ) = E[F(θ, X)] ここでFは可測であり、Xは確率変数である。
• 最小値集合M ∩ Uの近傍でfが局所的にC³滑らかであり、かつM ∩ Uが次元dのC¹部分多様体であると仮定する。
• 非退化性条件を課す：M ∩ Uの各点でfのヘッセ行列のランクがd − dに等しく、最小値集合が非退化でないことを保証する。
• 独立した軌道を用いたミニバッチSGDスキームを用いる：Θk,M,r_n = Θk,M,r_{n−1} − (r / (n^{ρ} M)) Σ_{m=1}^M ∇θF(Θk,M,r_{n−1}, Xk,n,m)，ρ ∈ (2/3, 1)。
• 各ステップでK個の独立な走行のうち性能が最良のものを選ぶ：ミニバッチ損失評価によりΘK,M,M,r_nを定義し、Σ_{m=1}^M F(Θk,M,r_n, X1,n+1,m)を最小化する。
• サブオプティマルさに関する高確率境界を導出する：P(f(ΘK,M,M,r_n) − inf f ≥ ε) ≤ cK/ε²M + [κ + c(1/(ε²n^ρ) + n^{1−ρ}/M^{1/2})]^K ここでκ ∈ [0,1)。

実験結果

リサーチクエスチョン

• RQ1 目的関数に対してグローバル凸性や収縮仮定が成り立たない場合でも、SGDの収束速度を確立できるか？
• RQ2 最小値が孤立点ではなく多様体を形成する場合、どのような条件下でSGDが最小値集合に局所的に収束するか？
• RQ3 ヘッセ行列が最小値多様体に直交する方向で退化している場合、収束をどのように定量的に記述できるか？
• RQ4 ε-最適解を高確率で得るためのミニバッチサイズM、独立走行回数K、反復回数nの間のトレードオフは何か？
• RQ5 本理論的枠組みは、重みの対称性により最小値が非一意となるReLUまたは線形活性化関数を備えた単純なニューラルネットワークへ適用可能か？

主な発見

• 本稿は、K個のSGD軌道の中から最良のものを選ぶ際のサブオプティマルさに関する高確率境界を確立する：P(f(ΘK,M,M,r_n) − inf f ≥ ε) ≤ cK/ε²M + [κ + c(1/(ε²n^ρ) + n^{1−ρ}/M^{1/2})]^K。
• この境界はKに関して指数的に減少し、κ ∈ [0,1)が支配的であり、初期条件が吸引域外にある確率や吸引域内での失敗確率を捉えている。
• cK/ε²Mの項はM → ∞で消えることから、正確な勾配計算に対応しており、ミニバッチサイズMが確率的近似によるバイアスを制御していることが示される。
• 収束速度はn^ρとn^{1−ρ}に依存し、ρ ∈ (2/3, 1)であるため、ステップサイズの減衰と分散低減のトレードオフが生じている。
• 4パラメータ線形ネットワークでは、最小値集合M ∩ Uは2次元C¹部分多様体であり、ヘッセ行列のランクは2 = codim(M ∩ U)に等しく、非退化性条件を満たす。
• 2パラメータReLUネットワークでは、最小値集合M ∩ Uは1次元C¹部分多様体であり、ヘッセ行列のランクは1 = codim(M ∩ U)に等しく、非退化性条件が成立していることが確認される。