[論文レビュー] On the Relation Between the Sharpest Directions of DNN Loss and the SGD Step Length

Stanisław Jastrzȩbski, Zachary Kenton+4 more|arXiv (Cornell University)|Jul 13, 2018

Adversarial Robustness in Machine Learning参考文献 25被引用数 28

ひとこと要約

この論文は、深層ニューラルネットワーク（DNN）の損失関数の曲率が最も大きい方向（ヘッセ行列の最大固有値で定義される）における確率的勾配降下法（SGD）のダイナミクスがどのように作用するかを調査している。SGDは、曲率に対して大きなステップサイズをとるため、初期段階で次第に鋭い領域へ移動することが示された。本研究では、これらの方向に沿って学習率を低減する変種（NSGD）を提案し、同じ学習率を用いた標準的なSGDと比較して、訓練を高速化し、より鋭いが一般化性能に優れた解を得られることを示した。

ABSTRACT

Stochastic Gradient Descent (SGD) based training of neural networks with a large learning rate or a small batch-size typically ends in well-generalizing, flat regions of the weight space, as indicated by small eigenvalues of the Hessian of the training loss. However, the curvature along the SGD trajectory is poorly understood. An empirical investigation shows that initially SGD visits increasingly sharp regions, reaching a maximum sharpness determined by both the learning rate and the batch-size of SGD. When studying the SGD dynamics in relation to the sharpest directions in this initial phase, we find that the SGD step is large compared to the curvature and commonly fails to minimize the loss along the sharpest directions. Furthermore, using a reduced learning rate along these directions can improve training speed while leading to both sharper and better generalizing solutions compared to vanilla SGD. In summary, our analysis of the dynamics of SGD in the subspace of the sharpest directions shows that they influence the regions that SGD steers to (where larger learning rate or smaller batch size result in wider regions visited), the overall training speed, and the generalization ability of the final model.

研究の動機と目的

• DNN損失関数の最も鋭い方向におけるSGDダイナミクスが一般化性能および最適化経路に与える影響を理解すること。
• 大きな学習率や小さなバッチサイズが、鋭い領域に移動するにもかかわらず、なぜ一般化性能が向上するのかを解明すること。
• 訓練中における最も鋭い方向に沿ったSGDのステップサイズと曲率の不一致を分析すること。
• 最も鋭い方向に沿って学習率を適応的に調整することで、訓練効率および一般化性能が向上するかを調査すること。
• 収束時だけでなく、全訓練経路にわたって上位ヘッセ固有値の変化を同定すること。

提案手法

• 訓練損失関数のヘッセ行列の上位固有値および固有ベクトルを、経験的推定を用いて訓練全体を通して追跡する。
• SGDの更新を、上位固有ベクトルが張る部分空間に射影することで、ステップの整合性と曲率の不一致を分析する。
• 最も鋭い方向に沿って、固定された低学習率を適用するSGDの変種（NSGD）を導入する。
• 同じベース学習率を用いて、NSGDと標準SGDを比較し、収束速度および最終的な一般化性能を評価する。
• 複数のアーキテクチャ（ResNet-32、SimpleCNN）とデータセットを用いて、異なる設定下での結果の妥当性を検証する。
• ヘッセ固有値スペクトルの経験的観察を通じて、学習率、バッチサイズ、損失関数のピーク鋭さの関係を分析する。

実験結果

リサーチクエスチョン

• RQ1 DNN損失関数の最も鋭い方向に沿った曲率は、SGD訓練中にどのように変化するか？
• RQ2 最も鋭い方向に沿って、SGDのステップサイズはどの程度曲率に対して不一致しているか？ その影響は最適化にどのように現れるか？
• RQ3 学習率とバッチサイズは、最も鋭い方向に沿ったピーク鋭さにどのように影響するか？
• RQ4 最も鋭い方向に沿って学習率を低減することで、訓練速度と一般化性能が向上するか？
• RQ5 最も鋭い部分空間におけるSGDダイナミクスは、最終的に到達する損失関数の領域にどのような影響を与えるか？

主な発見

• SGDは初期段階で、学習率とバッチサイズの両方に依存して、次第に鋭い領域へ移動する。
• 最も鋭い方向に沿った曲率に対して、SGDのステップサイズは一般的に大きすぎるため、極小値を飛び越え、それらを振動的に通過してしまう。
• ヘッセ行列の上位固有値は訓練の初期段階で増加し、ピークに達した後、安定化または減少に転じる。ピークの大きさは学習率とバッチサイズに依存する。
• NSGD（最も鋭い方向に沿って低減された学習率を適用）は、同じベース学習率を用いた標準SGDよりも高速に最適化を達成する。
• NSGDは、標準SGDと比較して、より鋭い損失関数の領域へ収束するが、一般化性能は維持または向上させる。
• 最も鋭い方向に沿ったダイナミクスは、SGDが到達する領域、訓練速度、最終的な一般化能力に顕著な影響を与える。