[논문 리뷰] The Slingshot Mechanism: An Empirical Study of Adaptive Optimizers and the Grokking Phenomenon

Vimal Thilak, Etai Littwin외 4명|arXiv (Cornell University)|2022. 06. 10.

Quantum many-body systems인용 수 4

한 줄 요약

이 논문은 Adam과 같은 적응형 최적화 방법에서 이전에 알려지지 않은 최적화 이상 현상인 '슬링샷 메커니즘'을 규명한다. 이 현상은 후기 학습 단계에서 안정적이고 불안정한 상태 사이를 주기적으로 전이하는 것으로, 급격한 가중치 노름 증가, 손실 값 급등, 그리고 정체 상태를 동반한다. 연구는 그로킹(grokking)—장기간의 과적합 이후 갑작스럽게 완벽한 일반화가 나타나는 현상—이 이러한 슬링샷 이벤트의 시작 시점에 항상 발생함을 보여주며, 적응형 최적화 방법에 내재된 중요한 인덕티브 편향을 드러내며 기존 최적화 이론에 도전한다.

ABSTRACT

The grokking phenomenon as reported by Power et al. ( arXiv:2201.02177 ) refers to a regime where a long period of overfitting is followed by a seemingly sudden transition to perfect generalization. In this paper, we attempt to reveal the underpinnings of Grokking via a series of empirical studies. Specifically, we uncover an optimization anomaly plaguing adaptive optimizers at extremely late stages of training, referred to as the Slingshot Mechanism. A prominent artifact of the Slingshot Mechanism can be measured by the cyclic phase transitions between stable and unstable training regimes, and can be easily monitored by the cyclic behavior of the norm of the last layers weights. We empirically observe that without explicit regularization, Grokking as reported in ( arXiv:2201.02177 ) almost exclusively happens at the onset of Slingshots, and is absent without it. While common and easily reproduced in more general settings, the Slingshot Mechanism does not follow from any known optimization theories that we are aware of, and can be easily overlooked without an in depth examination. Our work points to a surprising and useful inductive bias of adaptive gradient optimizers at late stages of training, calling for a revised theoretical analysis of their origin.

연구 동기 및 목표

• 장기간의 과적합 단계 이후 갑작스럽게 완벽한 일반화가 나타나는 '그로킹 현상'의 근본 원리를 규명하는 것.
• 후기 학습 단계에서 발생하는 적응형 최적화 방법(예: Adam)에 대한 이전에 알려지지 않은 최적화 이상 현상을 특정하고 특성화하는 것.
• 그로킹이 나타나는 조건를 규명하고, 특정 학습 동역학과의 인과관계를 확인하는 것.
• 슬링샷 메커니즘이 다양한 모델, 데이터셋, 최적화 방법에 걸쳐 일반화 가능한 행동인지 탐색하는 것.
• 가중치 감소, 특징 정규화 등의 대체 정규화 전략이 불안정성을 완화하고 일반화를 가능하게 하는지 평가하는 것.

제안 방법

• 알고리즘적으로 생성된 데이터셋(예: 나눗셈, 곱셈, 뺄셈)을 사용하여 완전히 연결된 네트워크와 트랜스포머에서 Adam 최적화 방법을 사용해 학습 동역학을 실증적으로 분석한다.
• 최종 은닉층의 L2 노름을 주기적인 안정/불안정 전이 상태를 감지하기 위한 핵심 진단 도구로 모니터링한다.
• 여러 학습 런에 걸쳐 학습 및 검증 손실, 정확도, 특징의 진화를 추적하여 전이 상태와 일반화 향상 간의 상관관계를 분석한다.
• 코사인 유사도를 통한 온도 조절 정규화를 도입하여 특징과 가중치의 노름 증가를 제어하고 학습 안정성을 평가한다.
• 가중치 감소와 특징 정규화의 효과를 온도 스케일링 유무에 따라 비교하여 일반화 및 학습 안정성에 미치는 영향을 평가한다.
• 다양한 데이터셋과 모델 아키텍처에서의 분석을 통해 슬링샷 메커니즘의 일반성 여부를 확인하기 위한 아블레이션 스터디를 수행한다.

실험 결과

연구 질문

• RQ1 이전 연구에서 관찰된 그로킹 현상이 슬링샷 메커니즘의 시작 시점에만 발생하는가?
• RQ2 슬링샷 메커니즘의 특성적 동역학은 가중치 노름 변화와 학습 손실 행동 측면에서 어떻게 나타나는가?
• RQ3 슬링샷 메커니즘은 적응형 최적화 방법으로 학습된 모델의 일반화 성능과 어떻게 관련되어 있는가?
• RQ4 가중치 감소나 특징 정규화와 같은 대체 정규화 기법이 그로킹에서 관찰된 일반화 행동을 재현하거나 안정화시킬 수 있는가?
• RQ5 슬링샷 메커니즘은 다양한 모델 아키텍처와 데이터셋에서 일반적인 행동인가?

주요 결과

• 슬링샷 메커니즘은 급격한 가중치 노름 증가와 정체 상태 사이를 주기적으로 전이하는 것으로, 이는 학습 손실 값 급등과 동반되며, Adam과 같은 적응형 최적화 방법에서만 관찰된다.
• 그로킹—완벽한 일반화로의 급격한 전이로 정의되는 현상—는 거의 유일하게 슬링샷 이벤트의 시작 시점에 발생하며, 이러한 전이가 일어나지 않을 경우는 관찰되지 않는다.
• 이 메커니즘은 다양한 모델(예: MLP, 트랜스포머)과 데이터셋(시각, 알고리즘, 합성)에서 광범위하게 발생하고 재현 가능하여, 적응형 최적화 방법의 일반적인 인덕티브 편향임을 시사한다.
• 온도 조절이 있는 가중치 감소와 특징 정규화를 통해 학습을 안정화하고 높은 검증 정확도를 달성할 수 있지만, 유일하게 온도 조절을 τ = 0.25로 설정할 때 불안정성을 방지하면서도 일반화를 지원한다.
• 슬링샷 메커니즘은 기존 최적화 이론으로부터 유도되지 않으며, 적응형 기울기 방법에 이전에 간과되었던 인덕티브 편향을 나타낸다.
• 노름 전이 기간 동안 특징 표현이 급격히 진화하지만, 정체 단계에서는 상대적으로 안정되어 있어, 불안정성 기간 동안 동적 특징 적응이 일어나는 것으로 보인다.