[論文レビュー] On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems

Panayotis Mertikopoulos, Nadav Hallak+2 more|arXiv (Cornell University)|Jun 19, 2020

Stochastic Gradient Optimization Techniques参考文献 38被引用数 37

ひとこと要約

本論文は、広範なステップサイズスケジュールの下で非凸目的関数に対する SGD のほぼ確実に収束することを証明し、SGD が厳格な鞍点を確率1で回避することを示し、Hurwicz-正則最小値への収束率を 1/n^p で導出し、実験で裏付ける。

ABSTRACT

This paper analyzes the trajectories of stochastic gradient descent (SGD) to help understand the algorithm's convergence properties in non-convex problems. We first show that the sequence of iterates generated by SGD remains bounded and converges with probability $1$ under a very broad range of step-size schedules. Subsequently, going beyond existing positive probability guarantees, we show that SGD avoids strict saddle points/manifolds with probability $1$ for the entire spectrum of step-size policies considered. Finally, we prove that the algorithm's rate of convergence to Hurwicz minimizers is $\mathcal{O}(1/n^{p})$ if the method is employed with a $Θ(1/n^p)$ step-size schedule. This provides an important guideline for tuning the algorithm's step-size as it suggests that a cool-down phase with a vanishing step-size could lead to faster convergence; we demonstrate this heuristic using ResNet architectures on CIFAR.

研究の動機と目的

• 広範なステップサイズスケジュールの下で非凸目的に対する SGD 軌道のほぼ確実な収束を確立する。
• 確率1で SGD が厳格な鞍点/多様体を回避することを示す。
• 消失するステップサイズの下で Hurwicz-正則局所最小値への収束率を特徴づける。
• cooldown 戦略を含むステップサイズのチューニングに関する実用的洞察を、実験で裏付けとともに提供する。

提案手法

• SGD を Gradient Flow の Robbins–Monro の離散化としてモデル化し、勾配ダイナミクスの asymptotic pseudotrajectory (APT) として研究する。
• mild な正則性仮定と γn = Θ(1/n^p) の範囲で SGD 軌道の有界性（前コンパクト性）を証明する。
• APT 理論と Lyapunov 性質を利用して、f が定数となる臨界集合の連結成分へほぼ確実に収束することを示す。
• 一様に励起されるノイズ仮定の下で、確率論的議論と中心多様体解析の組み合わせにより、厳格な鞍点多様体のほぼ確実な回避を示す。
• γn = Θ(1/n^p) のとき、 Hurwicz 正則最小化点への局所的収束率を導出： E[||Xn − x*||^2] = O(1/n^p)。
• Shekel リスクベンチマークと CIFAR-10 の ResNet18 に関する数値実験で cooldown の利点を補強する。

実験結果

リサーチクエスチョン

• RQ1 広範なステップサイズ方針の下で、非凸目的に対して SGD はほぼ確実に収束するか？
• RQ2 確率1で stochastic gradient の下、SGD は厳格な鞍点/多様体を回避するか？
• RQ3 消失するステップサイズ γn = Θ(1/n^p) を用いたとき、SGD は Hurwicz-正則局所最小値へどの程度の速度で収束するか？

主な発見

• SGD 軌道は、f が一定となる目的関数の臨界集合の連結成分へほぼ確実に収束する。
• γn = Θ(1/n^p) のとき、 E[||Xn − x*||^2] = O(1/n^p) で Hurwicz-正則局所最小値へ収束する。
• 前提条件の下で、非孤立の鞍点を含む厳格な鞍点多様体をほぼ確実に回避する。
• mild な仮定の下で有界性証明を確立し、APT フレームワークを可能にする。
• 実用的な cooldown ヒューリスティック（初期は一定ステップ、次に vanishing するステップ）を導入すると訓練性能が改善されることを、ResNet/CIFAR で実証。
• 結果は prior の鞍点回避および収束保証を、厳格な有界性要件を緩和し、広いクラスのステップサイズを許容することで拡張している。