[論文レビュー] Towards understanding how momentum improves generalization in deep learning

Samy Jelassi, Yuanzhi Li|arXiv (Cornell University)|Jul 13, 2022

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

この論文は、勾配降下法にモーメンタムを導入することで一般化性能が向上する理由を理論的・実験的に分析している。特に、例が共通する特徴を持つがマージンが異なるデータセットにおいて、モーメンタムが一般化性能を向上させることを示している。主な洞察は、モーメンタムが歴史的勾配を活用することで共通特徴の学習を保持し、低マージンの例の記憶を防ぐことにある。標準的な勾配降下法は、この点で失敗する。

ABSTRACT

Stochastic gradient descent (SGD) with momentum is widely used for training modern deep learning architectures. While it is well-understood that using momentum can lead to faster convergence rate in various settings, it has also been observed that momentum yields higher generalization. Prior work argue that momentum stabilizes the SGD noise during training and this leads to higher generalization. In this paper, we adopt another perspective and first empirically show that gradient descent with momentum (GD+M) significantly improves generalization compared to gradient descent (GD) in some deep learning problems. From this observation, we formally study how momentum improves generalization. We devise a binary classification setting where a one-hidden layer (over-parameterized) convolutional neural network trained with GD+M provably generalizes better than the same network trained with GD, when both algorithms are similarly initialized. The key insight in our analysis is that momentum is beneficial in datasets where the examples share some feature but differ in their margin. Contrary to GD that memorizes the small margin data, GD+M still learns the feature in these data thanks to its historical gradients. Lastly, we empirically validate our theoretical findings.

研究の動機と目的

• モーメンタムが収束速度の向上を超えて一般化性能を向上させる背後メカニズムを理解すること。
• モーメンタムの一般化利点が確率的要因に起因するのか、それとも最適化ダイナミクスそのものに内在する性質に起因するのかを調査すること。
• 過パラメータ化された畳み込みニューラルネットワーク（CNN）において、GD+MがGDよりも一般化性能が優れていることを形式的に分析する二値分類設定を明示すること。
• 共通特徴を持つがマージンが異なるデータにおいて、モーメンタムが一般化性能を向上させる条件を同定すること。

提案手法

• GDとGD+Mを比較するため、1層の過パラメータ化された畳み込みニューラルネットワークを用いた二値分類設定を提案する。
• 歴史的勾配の利用により、データが共通特徴を持つがマージンが異なる場合にGD+MがGDよりも一般化性能が優れていることを形式的に証明する。
• 理論的分析を通じて、モーメンタムが歴史的勾配を活用することで、低マージンの例の記憶を防ぎ、特徴学習を維持することを示す。
• バッチ正規化を有無にかかわらず、VGG-19およびMLP/CNNアーキテクチャを用いてCIFAR-10および合成ガウス分布データセット上で実験的に検証する。
• 確率的勾配ノイズを排除するために、フルバッチ勾配降下（GDおよびGD+M）を用い、モーメンタムの影響を隔離する。
• データポイントのマージンの変動に対しても特徴学習を維持するための歴史的勾配の役割を分析する。

実験結果

リサーチクエスチョン

• RQ1 なぜモーメンタムは収束速度の向上を超えて一般化性能を向上させるのか？
• RQ2 モーメンタムの一般化利点はノイズ低減に起因するのか、それとも最適化経路の構造的性質に起因するのか？
• RQ3 どのようなデータおよびネットワーク条件下でモーメンタムが一般化性能を向上させるのか？
• RQ4 モーメンタムは、共通特徴を学習しつつ、低マージンの例の記憶を防ぐことができるか？
• RQ5 確率的要因に依存しないフルバッチ設定でも、モーメンタムの利点は維持されるのか？

主な発見

• フルバッチ設定でもモーメンタムが一般化性能を向上させることから、その利点は確率的勾配ノイズに起因しないことが示された。
• 合成ガウス分布データセットでは、目的関数が複雑な場合（例：1-CNN、2-CNN）にGD+MがGDよりも一般化性能が優れており、テスト精度の向上が最大3.5%に達した。
• 1-CNNの学生ネットワークでは、GD+Mが94.39%のテスト精度を達成したのに対し、GDは94.18%であった。この結果は一貫した向上を示している。
• 理論的分析により、例が共通特徴を持つがマージンが異なる場合に、過パラメータ化されたCNNにおいてGD+MがGDよりも一般化性能が優れていることが証明された。
• モーメンタムは歴史的勾配を活用することで、低マージンの例の記憶を防ぎ、特徴学習を維持する。
• CIFAR-10における実験結果から、バッチサイズが大きくなるほどモーメンタムによる一般化性能の向上が顕著になることが分かった。これは、その効果が確率的要因に起因しないことを確認するものである。