[論文レビュー] SGD Converges to Global Minimum in Deep Learning via Star-convex Path

Yi Zhou, Junjie Yang+3 more|arXiv (Cornell University)|Jan 2, 2019

Stochastic Gradient Optimization Techniques参考文献 32被引用数 22

ひとこと要約

本稿では、勾配降下法（SGD）が深層学習の最適化のランドスケープにおいてスター凸的な経路に従って、グローバルミニマに収束すると提案している。訓練によるゼロ損失への到達において、SGDがエポックごと・イテレーションごとにスター凸的な経路をたどることを経験的に検証することで、著者らはSGDが自己正則化的分散低減を伴い、決定論的にグローバルミニマに収束することを証明し、深層ネットワークにおけるSGDの成功の新しい説明を提示する。

ABSTRACT

Stochastic gradient descent (SGD) has been found to be surprisingly effective in training a variety of deep neural networks. However, there is still a lack of understanding on how and why SGD can train these complex networks towards a global minimum. In this study, we establish the convergence of SGD to a global minimum for nonconvex optimization problems that are commonly encountered in neural network training. Our argument exploits the following two important properties: 1) the training loss can achieve zero value (approximately), which has been widely observed in deep learning; 2) SGD follows a star-convex path, which is verified by various experiments in this paper. In such a context, our analysis shows that SGD, although has long been considered as a randomized algorithm, converges in an intrinsically deterministic manner to a global minimum.

研究の動機と目的

• 非凸的で複雑な損失ランドスケープにもかかわらず、SGDが深層ニューラルネットワークで信頼性高くグローバルミニマに収束する理由を説明すること。
• SGDの実際の収束に根ざす幾何的性質—最適化経路のスター凸性—を同定し、形式化すること。
• 従来の確率的または停留点への収束結果とは対照的に、SGDの決定論的収束保証を確立すること。
• 過パラメータ化されたネットワークにおいて、特にゼロ損失への成功した訓練の過程で、スター凸経路が自然に出現することを示すこと。
• SGDが収束に近づくにつれて勾配分散が減少する自己正則化効果が生じることを明らかにすること。

提案手法

• エポックごとのスター凸経路条件を提案：現在の反復点からグローバルミニマまでの距離がエポックごとに単調に減少すること。
• イテレーションごとのスター凸経路を、各イテレーションにおいて現在の点がグローバルミニマを中心とするスター凸領域内にある条件として定義すること。
• 複数のアーキテクチャ（MLP、AlexNet、Inception）とデータセット（MNIST、CIFAR10）を用いた経験的検証により、SGDが訓練の大部分の期間においてイテレーションごとのスター凸経路に従っていることを確認すること。
• 最適化経路がスター凸である（エポックごとまたはイテレーションごと）ならば、SGD反復点がグローバルミニマに収束することを形式的に証明すること。
• 確率的勾配の分散を分析し、スター凸経路条件の下でSGDが収束に近づくにつれて分散が消滅することを示し、自己正則化を示すこと。
• ゼロの訓練損失はすべてのデータサンプルに共通するグローバルミニマを意味することを活用し、スター凸性の議論を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 非凸的損失ランドスケープにもかかわらず、SGDは深層学習でグローバルミニマに収束できるか？
• RQ2 SGDの最適化経路は、具体的にはグローバルミニマへの収束を説明する幾何的性質—スター凸性—を示しているか？
• RQ3 イテレーションごとのスター凸経路はどのような条件下で出現し、ゼロ損失への到達とどのように関連しているか？
• RQ4 幾何的経路正則性のもとで、SGDの収束を期待値や確率ではなく決定論的に証明できるか？
• RQ5 スター凸経路は収束に伴い勾配分散を低減する自己正則化効果を誘発するか？

主な発見

• 最適化経路がスター凸である場合、SGDはエポックごと・イテレーションごとのスター凸経路条件のもとでグローバルミニマに収束することが理論的に証明された。
• 経験的結果から、SGDは過パラメータ化されたネットワークを用いたMNISTおよびCIFAR10の訓練において、訓練の大部分の期間においてイテレーションごとのスター凸経路に従っていることが示された。
• イテレーションごとのスター凸性条件を満たす割合は、訓練損失がすでにほぼゼロに近づいた最終エポックでしか低下しなく、収束に近づくと経路正則性が崩れる傾向にある。
• ゼロ損失に到達できない場合（例：狭いネットワーク）、スター凸経路は著しく少ないことが示され、経路構造と最適化の成功の間に相関があることが示唆された。
• スター凸経路の下でSGDが収束に近づくにつれて、確率的勾配の分散が減少し、最適化ダイナミクスに内在する自己正則化機構が明らかになった。
• 理論的枠組みは深層学習にとどまらず、他の非凸問題において勾配優位性と正則性条件が成り立つ場合、スター凸性が示唆されるため、より広範な設定への収束保証の拡張が可能である。