[論文レビュー] The Slingshot Mechanism: An Empirical Study of Adaptive Optimizers and the Grokking Phenomenon

Vimal Thilak, Etai Littwin+4 more|arXiv (Cornell University)|Jun 10, 2022

Quantum many-body systems被引用数 4

ひとこと要約

本稿は、Adamなどの適応的最適化手法において以前未知の最適化異常である「スリングショット機構」を特定した。この機構では、後期学習段階において安定状態と不安定状態の間を周期的に入れ替える現象が見られ、急速な重みノルムの増大に続いて損失の急増と停滞が生じる。研究では、長期間にわたる過学習の後、突然完全な一般化が現れる「グロッキング現象」が、このスリングショットイベントの発生時刻に一貫して発生することを示した。これにより、適応的最適化手法に内在する重要なインダクティブバイアスが明らかになり、従来の最適化理論に反するものである。

ABSTRACT

The grokking phenomenon as reported by Power et al. ( arXiv:2201.02177 ) refers to a regime where a long period of overfitting is followed by a seemingly sudden transition to perfect generalization. In this paper, we attempt to reveal the underpinnings of Grokking via a series of empirical studies. Specifically, we uncover an optimization anomaly plaguing adaptive optimizers at extremely late stages of training, referred to as the Slingshot Mechanism. A prominent artifact of the Slingshot Mechanism can be measured by the cyclic phase transitions between stable and unstable training regimes, and can be easily monitored by the cyclic behavior of the norm of the last layers weights. We empirically observe that without explicit regularization, Grokking as reported in ( arXiv:2201.02177 ) almost exclusively happens at the onset of Slingshots, and is absent without it. While common and easily reproduced in more general settings, the Slingshot Mechanism does not follow from any known optimization theories that we are aware of, and can be easily overlooked without an in depth examination. Our work points to a surprising and useful inductive bias of adaptive gradient optimizers at late stages of training, calling for a revised theoretical analysis of their origin.

研究の動機と目的

• 長期間の過学習に続く突然の完全な一般化が現れるグロッキング現象の背後にあるメカニズムを調査すること。
• 後期学習段階で発生する、以前未知の適応的最適化手法（例：Adam）における最適化異常を特定・特徴づけること。
• グロッキングが発生する条件を特定し、特定の学習ダイナミクスと因果関係にあるかどうかを同定すること。
• スリングショット機構がモデル、データセット、最適化手法の多様な組み合わせにおいて一般化可能かどうかを調査すること。
• 重み減衰や特徴量正規化などの代替正則化戦略が、不安定性を軽減し一般化を可能にするかを評価すること。

提案手法

• アルゴリズム的に生成されたデータセット（例：割り算、乗算、減算）を用いて、全結合ネットワークおよびトランスフォーマーでAdam最適化手法を用いて学習ダイナミクスを実証的に分析する。
• 最終層の重みのL2ノルムを、急速な増大と停滞の間を繰り返す周期的段階遷移を検出するための主要な診断指標として監視する。
• 複数回の学習実行において、訓練損失、検証損失、精度、特徴量の進化を追跡し、段階遷移と一般化性能の向上を相関付ける。
• コサイン類似度を用いた温度制御付きの特徴量および重みの正規化を導入し、ノルム増大を制御し、学習安定性を評価する。
• 重み減衰と特徴量正規化の効果を、温度スケーリングあり・なしで比較し、一般化性能および学習安定性に与える影響を評価する。
• 複数のデータセットおよびモデルアーキテクチャを用いたアブレーションスタディにより、スリングショット機構の一般性を確認する。

実験結果

リサーチクエスチョン

• RQ1 先行研究で観察されたグロッキング現象は、スリングショット機構の発生時刻にのみ発生するのか？
• RQ2 スリングショット機構の特徴的なダイナミクスは、重みノルムの変化および損失関数の挙動においてどのように現れるのか？
• RQ3 スリングショット機構は、適応的最適化手法で学習されたモデルの一般化性能とどのように関係しているのか？
• RQ4 重み減衰や特徴量正規化などの代替正則化技術が、グロッキングで観察される一般化行動を再現または安定化できるか？
• RQ5 スリングショット機構は、異なるモデルアーキテクチャおよびデータセットにおいて普遍的であると見なせるか？

主な発見

• スリングショット機構は、急速な重みノルム増大と停滞の間を周期的に繰り返す段階遷移を特徴とし、それに伴い損失の急増が生じる。この現象は、Adamなどの適応的最適化手法に特有に観察される。
• グロッキング（完全な一般化への突然の遷移）は、スリングショットイベントの発生時刻にほぼ一貫して発生するが、このような遷移が発生しない場合には観察されない。
• この機構は、多様なモデル（例：MLP、トランスフォーマー）およびデータセット（視覚的、アルゴリズム的、合成データ）にわたり広く存在し、適応的最適化手法に内在する一般化されたインダクティブバイアスを示している。
• 重み減衰と温度スケーリング付きの特徴量正規化は、学習を安定化させ、高い検証精度を達成できるが、唯一τ = 0.25での温度調整が不安定性を一貫して防ぎつつ一般化を支援する。
• スリングショット機構は、既存の最適化理論からは導けず、適応的勾配法に以前無視されてきたインダクティブバイアスを示している。
• ノルム遷移の間、特徴表現は急速に変化するが、停滞段階では比較的安定しているため、不安定性の間における動的な特徴適応が生じていると考えられる。