[論文レビュー] Dynamic of Stochastic Gradient Descent with State-Dependent Noise

Qi Meng, Shiqi Gong+3 more|arXiv (Cornell University)|Jun 24, 2020

Stochastic Gradient Optimization Techniques参考文献 48被引用数 8

ひとこと要約

本稿では、状態に依存する拡散を持つべき乗則確率微分方程式を提案し、確率的勾配降下法（SGD）をモデル化する。その結果、得られる定常分布は重たい尾を持つものであり、実験的観察と一致することが示された。また、鋭い極小値からの脱出が多項式時間で発生することを証明し、定数拡散モデルにおける指数的時間と比べて著しく速く、SGDが一般化性能が良い平坦な極小値を好む理由を説明する。

ABSTRACT

Stochastic gradient descent (SGD) and its variants are mainstream methods to train deep neural networks. Since neural networks are non-convex, more and more works study the dynamic behavior of SGD and the impact to its generalization, especially the escaping efficiency from local minima. However, these works take the over-simplified assumption that the covariance of the noise in SGD is (or can be upper bounded by) constant, although it is actually state-dependent. In this work, we conduct a formal study on the dynamic behavior of SGD with state-dependent noise. Specifically, we show that the covariance of the noise of SGD in the local region of the local minima is a quadratic function of the state. Thus, we propose a novel power-law dynamic with state-dependent diffusion to approximate the dynamic of SGD. We prove that, power-law dynamic can escape from sharp minima exponentially faster than flat minima, while the previous dynamics can only escape sharp minima polynomially faster than flat minima. Our experiments well verified our theoretical results. Inspired by our theory, we propose to add additional state-dependent noise into (large-batch) SGD to further improve its generalization ability. Experiments verify that our method is effective.

研究の動機と目的

• 既存のSGDダイナミクスが勾配ノイズの状態に依存しないと仮定しているという限界に対処すること。これは、実際の観測で見られる重たい尾を持つパラメータ分布を説明できない。
• 局所的極小値付近でのSGDノイズの真の状態依存性を捉える理論的根拠を持つダイナミクスモデルを構築すること。
• この新しいダイナミクスが局所的極小値から脱出する効率を分析し、一般化性能と関連付けること。
• 定数拡散ダイナミクスよりも優れた一般化性能を示すPAC-Bayes一般化バウンドを提供すること。
• 実験を通じて理論的発見を検証し、深層ニューラルネットワークにおいてパラメータ分布が提示されたべき乗則モデルにうまく適合することを示すこと。

提案手法

• 局所的極小値の周囲の二次的盆地における勾配ノイズの共分散を、モデルパラメータの二次関数として導出し、状態依存拡散の妥当性を裏付ける。
• 状態の二乗に比例する拡散係数を持つ確率微分方程式（SDE）を提案し、べき乗則ダイナミクスと呼ぶ。
• べき乗則ダイナミクスの定常分布が、尾指数κを持つべき乗則κ分布であることを証明し、実験的重たい尾の観察と一致することを示す。
• ランダム摂動理論を適用し、べき乗則ダイナミクス下での局所的極小値からの平均脱出時間を計算する。
• べき乗則ダイナミクスのPAC-Bayes一般化バウンドを導出し、定数拡散モデルと比較して一般化性能が向上していることを示す。
• 実験的に、トレーニング済みの深層ネットワーク（LeNet-5, ResNet-18, VGG-16など）からのパラメータ分布をべき乗則κ分布にフィットさせ、SGDとの脱出ダイナミクスを比較することで、モデルを検証する。

実験結果

リサーチクエスチョン

• RQ1 SGDにおける状態依存ノイズが、モデルパラメータの定常分布に与える影響は何か？
• RQ2 無限大の分散を仮定せずに、実験的に観察された重たい尾を持つパラメータ分布を、状態依存拡散を持つべき乗則ダイナミクスが説明できるか？
• RQ3 べき乗則ダイナミクス下での局所的極小値からの脱出時間は、定数拡散モデルと比べてどう異なるか？
• RQ4 提案されたダイナミクスにおいて、脱出効率と一般化性能の関係は何か？
• RQ5 べき乗則ダイナミクスは、深層ニューラルネットワークのトレーニングにおける実際のSGDの挙動をどの程度再現できるか？

主な発見

• 提案されたべき乗則ダイナミクスの定常分布は、尾指数κを持つ重たい尾を持つべき乗則κ分布であり、トレーニング済みの深層ネットワークにおけるパラメータ分布の実験的観察と一致する。
• べき乗則ダイナミクス下での局所的極小値からの平均脱出時間は、バリア高さの多項式オーダーであり、定数拡散モデルの指数的オーダーと比べて著しく速い。
• べき乗則ダイナミクスは鋭い極小値を平坦な極小値よりも効率的に脱出するため、SGDが鋭い極小値を避けるメカニズムを示唆する。
• べき乗則ダイナミクスのPAC-Bayes一般化バウンドは、定数拡散モデルのそれよりもタイトであり、一般化性能が優れていることを示唆する。
• 実験では、MNIST、CIFAR-10、ImageNetでトレーニングされたSGDモデルからのパラメータ分布が、べき乗則κ分布にうまくフィットすることが示された。
• 脱出ダイナミクスの比較では、べき乗則ダイナミクスが定数拡散モデルよりもSGDの挙動をよりよく再現していることが分かった。