[論文レビュー] A Walk with SGD.

Xing Chen, Devansh Arpit+2 more|arXiv (Cornell University)|Feb 24, 2018

Stochastic Gradient Optimization Techniques参考文献 38被引用数 49

ひとこと要約

この論文は、過パラメータ化されたDNNにおけるSGDが、谷底から上方の高さで『谷の壁の間を跳ね返るように』移動することで損失の地形を探索していることを明らかにした。これは大きな学習率と小さなバッチサイズによって可能となり、局所的障害物を回避し、より平坦で一般化性の高い領域への収束を加速する効率的な探索を可能にする。

ABSTRACT

We present novel empirical observations regarding how stochastic gradient descent (SGD) navigates the loss landscape of over-parametrized deep neural networks (DNNs). These observations expose the qualitatively different roles of learning rate and batch-size in DNN optimization and generalization. Specifically we study the DNN loss surface along the trajectory of SGD by interpolating the loss surface between parameters from consecutive extit{iterations} and tracking various metrics during training. We find that the loss interpolation between parameters before and after each training iteration's update is roughly convex with a minimum ( extit{valley floor}) in between for most of the training. Based on this and other metrics, we deduce that for most of the training update steps, SGD moves in valley like regions of the loss surface by jumping from one valley wall to another at a height above the valley floor. This 'bouncing between walls at a height' mechanism helps SGD traverse larger distance for small batch sizes and large learning rates which we find play qualitatively different roles in the dynamics. While a large learning rate maintains a large height from the valley floor, a small batch size injects noise facilitating exploration. We find this mechanism is crucial for generalization because the valley floor has barriers and this exploration above the valley floor allows SGD to quickly travel far away from the initialization point (without being affected by barriers) and find flatter regions, corresponding to better generalization.

研究の動機と目的

• 過パラメータ化された深層ニューラルネットワークの損失地形をSGDがどのようにナビゲートするかの動的挙動を理解すること。
• 学習率とバッチサイズが最適化と一般化において果たす異なる役割を調査すること。
• 訓練中に谷底よりも上方で動作することで、SGDが局所的最小値や障害物を回避する仕組みを解明すること。
• この跳ね返りメカニズムが、なぜ損失地形のより平坦な領域に効率的に到達できるかを説明すること。
• 標準的な最適化理論を超えた、深層学習における一般化の背後にある新規メカニズムを実証的根拠で提示すること。

提案手法

• 連続するSGD訓練イテレーションにおけるモデルパラメータ間の損失表面を補間し、軌道を可視化する。
• 補間パスに沿って損失、初期値からの距離、曲率などの指標を追跡する。
• 補間された損失パスの形状を分析し、パラメータ更新の間にある最小値（谷底）を有する凸型領域を特定する。
• SGDの更新量が谷底に対してどの程度の高さにあるかを定量化し、『跳ね返り』挙動を特徴づける。
• 学習率とバッチサイズが跳ね返りの高さおよび谷底の上方での探索範囲に与える影響を相関分析する。
• 実証的観察をもとに、谷底の上方での探索が、局所的障害物からの脱出と、損失表面の高速な走破を可能にしていると推論する。

実験結果

リサーチクエスチョン

• RQ1 SGDは過パラメータ化されたDNNの損失地形を訓練中にどのようにナビゲートするか？
• RQ2 学習率とバッチサイズがSGDの軌道を形作る上で果たす機能的役割は何か？
• RQ3 なぜSGDは鋭い最小値に収束しないままでも良好に一般化するのか？
• RQ4 連続するSGD更新の間の損失表面はどのように振る舞い、最適化ダイナミクスに関する何を明らかにするか？
• RQ5 谷底の上方で動作することで、SGDが局所的障害物を脱出でき、より平坦で一般化性の高い領域に到達するまでの程度はどの程度か？

主な発見

• 連続するSGDパラメータ間の損失補間は通常凸的であり、その中間に最小値（谷底）が存在するため、損失地形に谷のような構造が存在することが示唆される。
• SGDは、谷底に沿って移動するのではなく、谷の壁の間を谷底よりも高い高さで跳ね返るように移動する『跳ね返り』運動を実行する。
• 大きな学習率は高い跳ね返りの高さを維持し、より大きな有効ステップを可能にすることで、損失表面を高速に走破する。
• 小さなバッチサイズはノイズを導入し、谷底の上方での探索を容易にすることで、局所的障害物からの脱出を支援する。
• この跳ね返りメカニズムにより、SGDは局所的障害物に阻まれることなく、初期値から遠く離れた場所へ迅速に移動できる。
• 谷底の上方での探索が可能であることで、SGDは平坦な損失表面領域を効率的に特定でき、これはより良い一般化と関連している。