[論文レビュー] On the geometry of generalization and memorization in deep neural networks

Cory Stephenson, Suchismita Padhy+4 more|arXiv (Cornell University)|May 30, 2021

Neural Networks and Applications参考文献 36被引用数 15

ひとこと要約

この論文では、複製に基づく平均場幾何的解析を用いて、深層ニューラルネットワークにおける記憶化と一般化を研究し、記憶化が主に深層部で発生することを明らかにした。その理由は、オブジェクト多様体の半径と次元が小さくなるためである。主な発見は、最終層の重みを記憶化が顕著に進行する以前の訓練エポックに巻き戻すことで、一般化性能を回復できることであり、初期化付近の共有特徴が早期一般化を可能にしていることである。

ABSTRACT

Understanding how large neural networks avoid memorizing training data is key to explaining their high generalization performance. To examine the structure of when and where memorization occurs in a deep network, we use a recently developed replica-based mean field theoretic geometric analysis method. We find that all layers preferentially learn from examples which share features, and link this behavior to generalization performance. Memorization predominately occurs in the deeper layers, due to decreasing object manifolds' radius and dimension, whereas early layers are minimally affected. This predicts that generalization can be restored by reverting the final few layer weights to earlier epochs before significant memorization occurred, which is confirmed by the experiments. Additionally, by studying generalization under different model sizes, we reveal the connection between the double descent phenomenon and the underlying model geometry. Finally, analytical analysis shows that networks avoid memorization early in training because close to initialization, the gradient contribution from permuted examples are small. These findings provide quantitative evidence for the structure of memorization across layers of a deep neural network, the drivers for such structure, and its connection to manifold geometric properties.

研究の動機と目的

• 深層ニューラルネットワークにおける記憶化の構造的要因を理解すること、特にそれが層内でどこに、いつ発生するかを特定すること。
• 容量的にランダムラベルを記憶可能であるにもかかわらず、大規模ネットワークがなぜ一般化するのかを解明すること。
• オブジェクト多様体の幾何的性質（半径、次元、相関）が学習ダイナミクスに与える影響を説明すること。
• 一般化誤差におけるダブルデセント現象を、訓練中に生じる多様体次元の非単調変化に関連付けること。
• 初期化付近でノイズの多い例からの勾配寄与が最小限であるため、共有特徴のおかげで早期一般化が生じることを示すこと。

提案手法

• 深層ネットワークの層別表現幾何を分析するために、複製に基づく平均場理論的幾何プローブを採用した。
• 訓練エポックとモデルサイズの変化に伴うオブジェクト多様体の半径、次元、中心相関の変化を追跡した。
• 同じクラスの例から得られる特徴が、共有線形特徴のおかげで優先的に学習されることを幾何的プローブで測定した。
• 記憶化効果を分離し、ダイナミクスを比較するために、実データおよびランダムラベルデータの両方でネットワークを訓練した。
• 異なる訓練段階で最終層の重みを巻き戻すことで、一般化性能の回復をテストした。
• モデルサイズの影響を分析し、一般化誤差におけるダブルデセントを、非単調に拡張する多様体次元性と関連づけた。

実験結果

リサーチクエスチョン

• RQ1 ネットワークのアーキテクチャ内で、記憶化は主にどこに発生するか——初期層、中間層、または深層部か？
• RQ2 訓練中に記憶化の発生を引き起こすオブジェクト多様体の幾何的性質は何か？
• RQ3 なぜ、高い容量を持つにもかかわらず、ネットワークは初期化付近で一般化するのか？
• RQ4 一般化誤差におけるダブルデセント現象は、表現空間における幾何的変化とどのように関連しているか？
• RQ5 記憶化が進行した後でも、最終層の重みを以前の訓練状態に巻き戻すことで、一般化を回復できるか？

主な発見

• 記憶化は、深層ネットワークの最終層に集中しており、深さに伴いオブジェクト多様体の半径と次元が減少することで引き起こされる。
• 初期層は幾何的性質が安定しており、共有特徴学習のおかげで記憶化の影響をほとんど受けない。
• 記憶化が顕著に進行する以前の訓練エポックに、最終層の重みを巻き戻すことで、一般化性能を回復できる。
• 初期化付近では、ランダムラベル例からの勾配が共有特徴が欠如しているため、重み更新にほとんど寄与せず、これが早期一般化を可能にする。
• 一般化誤差におけるダブルデセント現象は、モデルサイズの増加に伴う多様体次元性の非単調的拡張と直接関連している。
• 多様体次元性はダブルデセントを示すが、半径と中心相関は単調に推移するため、次元性がダブルデセントの主要な幾何的駆動要因であると示唆される。