[論文レビュー] Directional Analysis of Stochastic Gradient Descent via von Mises-Fisher Distributions in Deep learning

Cheolhyoung Lee, Kyunghyun Cho+1 more|arXiv (Cornell University)|Sep 29, 2018

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿は、ミニバッチ勾配の方向性の集中をvon Mises-Fisher (vMF)分布でモデル化することで、深層学習における確率的勾配降下法（SGD）の方向性分析を導入する。理論的および実験的に、勾配の方向性の一様性（vMFの集中パラメータκで測定）が学習過程で向上することを示し、ノルムのばらつきよりも方向性のばらつきが、全体の勾配のばらつき（信号対ノイズ比）をより強く駆動していることを明らかにする。

ABSTRACT

Although stochastic gradient descent (SGD) is a driving force behind the recent success of deep learning, our understanding of its dynamics in a high-dimensional parameter space is limited. In recent years, some researchers have used the stochasticity of minibatch gradients, or the signal-to-noise ratio, to better characterize the learning dynamics of SGD. Inspired from these work, we here analyze SGD from a geometrical perspective by inspecting the stochasticity of the norms and directions of minibatch gradients. We propose a model of the directional concentration for minibatch gradients through von Mises-Fisher (VMF) distribution, and show that the directional uniformity of minibatch gradients increases over the course of SGD. We empirically verify our result using deep convolutional networks and observe a higher correlation between the gradient stochasticity and the proposed directional uniformity than that against the gradient norm stochasticity, suggesting that the directional statistics of minibatch gradients is a major factor behind SGD.

研究の動機と目的

• 勾配のノルムに基づく分析を超えて、勾配の方向性に注目することで、深層学習における高次元的ダイナミクスを理解すること。
• von Mises-Fisher (vMF)分布を用いてミニバッチ勾配の方向性の集中をモデル化すること。
• 学習過程で方向性の一様性が向上するか、およびノルムのばらつきよりも勾配のばらつきに強く相関するかを調査すること。
• バッチ正規化や残差接続を含む現代の深層学習アーキテクチャにおいて、提案された方向性分析を検証すること。
• 勾配の学習ダイナミクスを理解する上で、ノルム統計のみでなく方向統計が中心的役割を果たすことを確立すること。

提案手法

• ミニバッチ勾配の方向性の分布を、集中パラメータκでパrameter化されたvon Mises-Fisher (vMF)分布でモデル化する。
• 理論的に、学習が進行するにつれて勾配の方向性の一様性（1/κ）が向上し、方向性の分散が減少することを証明する。
• 最尤推定を用いてミニバッチ勾配からvMFの集中パラメータκを推定する。
• 勾配のばらつき（SNR）を勾配の変動係数の逆数として定義し、ノルムのばらつきと方向性のばらつきに分解する。
• 対数スケールの散乱図と正規化された時系列推移を用いて、複数の学習実行とアーキテクチャにおいてSNRとκ、normSNRを比較する。
• MNISTおよびCIFAR-10で、バッチ正規化を有する・ないCNN、ResNet、広いネットワークを用いた実験により、方向性の一様性のトレンドを検証する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの学習過程において、vMF分布でモデル化されたミニバッチ勾配の方向性の集中度は向上するか？
• RQ2 ノルムのばらつきと比較して、勾配の全体的なばらつき（SNR）と方向性の一様性（vMFのκで測定）の相関はどの程度強いのか？
• RQ3 バッチ正規化や残差接続といった現代の深層学習要因は、SGDの方向性ダイナミクスにどの程度影響を及えるか？
• RQ4 勾配の方向性のばらつきが、ノルムのばらつきよりもSNRにより顕著な影響を及えると見なせるか？
• RQ5 vMF分布は、高次元の深層学習最適化におけるミニバッチ勾配の方向挙動を効果的にモデル化できるか？

主な発見

• 推定されたvMFの集中パラメータκは、学習過程で顕著に増加し、ミニバッチ勾配の方向性の一様性が向上していることを示している。
• すべての実験設定において、勾配のばらつきの逆数（SNR）と方向性の一様性の逆数（1/κ）の相関が極めて強く、対数スケールの散乱図でR² > 0.9が達成された。
• 勾配ノルムのばらつき（normSNR）はSNRと著しく弱い相関を示しており、全体の勾配変動の主な要因ではないことが示された。
• 方向性の一様性のトレンドは、標準的なCNN、バッチ正規化付きCNN、残差ネットワークを含む多様なアーキテクチャに共通して成立している。
• 4種類の異なる初期重み設定においても、SNRとκの相関は強く保たれており、堅牢性が確認された。
• ネットワークサイズの違いによる次元数の影響のため、κの絶対値は比較できないことが示され、相対的または正規化された分析の必要性が示唆された。