[論文レビュー] High probability convergence and uniform stability bounds for nonconvex stochastic gradient descent

Liam Madden, Emiliano Dall’Anese+1 more|arXiv (Cornell University)|Jun 10, 2020

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿は、滑らかさ、Polyak-Łojasiewicz不等式、および勾配の有界変動の仮定の下で、非凸確率的勾配降下法（SGD）に対する高確率収束および一様安定性の境界を確立する。エポック依存の境界を導出し、収束と一般化のバランスをとることで、データセットサイズが増加するにつれて真のリスクが消えることを示し、非凸最適化における理論と実践の溝を埋める。

ABSTRACT

Stochastic gradient descent (with a mini-batch) is one of the most common iterative algorithms used in machine learning. While being computationally cheap to implement, recent literature suggests that it may also have implicit regularization properties that prevent overfitting. This paper analyzes the properties of stochastic gradient descent from a theoretical standpoint to help bridge the gap between theoretical and empirical results; in particular, we prove bounds that depend explicitly on the number of epochs. Assuming smoothness, the Polyak-Łojasiewicz inequality, and the bounded variation property, we prove high probability bounds on the convergence rate. Assuming Lipschitz continuity and smoothness, we prove high probability bounds on the uniform stability. Putting these together (noting that some of the assumptions imply each other), we bound the true risk of the iterates of stochastic gradient descent. For convergence, our high probability bounds match existing expected bounds. For stability, our high probability bounds extend the nonconvex expected bound in Hardt et al. (2015). We use existing results to bound the generalization error using the stability. Finally, we put the convergence and generalization bounds together. We find that for a certain number of epochs of stochastic gradient descent, the convergence and generalization balance and we get a true risk bound that goes to zero as the number of samples goes to infinity.

研究の動機と目的

• 非凸機械学習問題における確率的勾配降下法（SGD）の理論的分析と実証的成功の間のギャップを埋めること。
• 訓練エポック数に明示的に依存するSGDの高確率収束境界を導出すること。
• 既存の期待安定性境界を非凸設定において高確率一様安定性に拡張すること。
• 収束と一般化の境界を組み合わせ、サンプルサイズの増加に伴い真のリスクが消えることを確立すること。

提案手法

• 滑らかさ、Polyak-Łojasiewicz（PL）不等式、勾配の有界変動を活用し、SGD反復の高確率収束レートを導出する。
• リプシッツ連続性と滑らかさの仮定を適用し、SGDの高確率一様安定性境界を確立する。
• 既存の一様安定性に基づく一般化誤差境界を用い、安定性と真のリスクを結びつける。
• 収束と安定性の境界をエポック数のトレードオフを通じて組み合わせ、真のリスクの減少を達成する。
• 集中不等式とマルティンゲールの議論を用いて高確率境界を導出し、期待値のみに依存する分析を避ける。
• 実際の訓練スケジュールを反映するエポック依存の境界を導出し、理論的結果をより実用的・解釈可能にする。

実験結果

リサーチクエスチョン

• RQ1 滑らかさやPL不等式といった標準的仮定の下で、非凸SGDに対する高確率収束境界を導出可能か？
• RQ2 非凸SGDにおける高確率一様安定性境界は、既存の期待安定性境界と比べてどのように異なるか？
• RQ3 エポック数を明示的に考慮した場合、SGDにおける収束と一般化の相互作用はいかなるものか？
• RQ4 収束と安定性の境界を組み合わせることで、サンプル数の増加に伴い真のリスクが消える境界を導出可能か？
• RQ5 分析で用いられる仮定が互いに含意し合うか、これにより導出された境界のタイトさにどのような影響を与えるか？

主な発見

• 本稿は、既存の期待値ベースの境界と同等のレートを示すが、確率的保証を備えた非凸SGDの高確率収束境界を確立する。
• Hardtら（2015）の非凸期待安定性境界を、同様の仮定の下で高確率一様安定性境界へと拡張する。
• 導出された収束および安定性条件のもとで、SGD反復の真のリスクは有界であり、訓練サンプル数の増加に伴いゼロに収束する。
• 特定のエポック数において収束と一般化のバランスが達成され、最適な一般化性能が得られる。
• 導出された境界はエポック数に明示的に依存しており、実世界の訓練スケジュールに対してより解釈可能かつ実用的である。
• 滑らかさや有界変動といった仮定が、収束および安定性の両結果を導出するのに十分であることが示され、分析において一部の仮定が互いに含意し合うことがある。