[논문 리뷰] Omnigrok: Grokking Beyond Algorithmic Data

Ziming Liu, Eric J. Michaud외 1명|arXiv (Cornell University)|2022. 10. 03.

Machine Learning and Data Classification인용 수 8

한 줄 요약

이 논문은 신경망에서의 그로킹 현상의 기원으로 'LU 메커니즘'—학습 손실이 L자 형태이고 테스트 손실이 U자 형태이며, 이 둘 사이의 손실 경계가 가중치 노름에 대해 불일치하는 현상—을 제시한다. 저자들은 감소된 1차원 손실 경계를 분석함으로써, 이 손실 경계의 불일치로 인해 발생하는 느린 최적화 동역학이 그로킹을 유도함을 보이며, 영상, 언어, 분자 등 다양한 작업에서 그로킹이 발생함을 입증한다. 특히 알고리즘 데이터셋과 같은 표현 학습 중심 작업에서 그로킹 효과가 더 뚜렷하다.

ABSTRACT

Grokking, the unusual phenomenon for algorithmic datasets where generalization happens long after overfitting the training data, has remained elusive. We aim to understand grokking by analyzing the loss landscapes of neural networks, identifying the mismatch between training and test losses as the cause for grokking. We refer to this as the "LU mechanism" because training and test losses (against model weight norm) typically resemble "L" and "U", respectively. This simple mechanism can nicely explain many aspects of grokking: data size dependence, weight decay dependence, the emergence of representations, etc. Guided by the intuitive picture, we are able to induce grokking on tasks involving images, language and molecules. In the reverse direction, we are able to eliminate grokking for algorithmic datasets. We attribute the dramatic nature of grokking for algorithmic datasets to representation learning.

연구 동기 및 목표

• 과도하게 피팅된 후 지연된 일반화 현상으로 관찰되는 그로킹의 기원을 이해하기 위해.
• 그로킹이 알고리즘 데이터셋 외에도 영상, NLP, 분자 성질 예측 등에서 발생하는가를 조사하기 위해.
• 비현실적 데이터셋인 MNIST와 같은 실세계 데이터셋에 비해 알고리즘 데이터셋에서 그로킹이 훨씬 더 뚜렷한 이유를 설명하기 위해.
• 손실 경계 분석을 통해 표현 학습이 그로킹 효과를 어떻게 증폭시키는지 규명하기 위해.
• 제약된 가중치 노름 학습이 그로킹을 억제함으로써 메커니즘의 타당성을 검증하기 위해.

제안 방법

• 고정된 가중치 노름에서 각도 방향에 대해 학습 손실을 최소화함으로써 감소된 손실 경계를 정의하고, 가중치 노름 w에 대한 1차원 함수로 표현한다.
• 결과로 도출된 학습 손실(L자 형태)과 테스트 손실(U자 형태)을 시각화하고 분석하여 LU 메커니즘을 규명한다.
• LU 메커니즘에 의해 유도되는 느린-빠른 동역학을 시뮬레이션하고 검증하기 위해 토이 티처-스터디 모델을 사용한다.
• 실제 데이터셋(MNIST, IMDb, QM9)에 대해 수정된 학습 설정을 적용하여 LU 메커니즘의 직관을 적용하고 그로킹 신호를 유도한다.
• 알고리즘 데이터셋과 실세계 데이터셋 간의 손실 경계를 비교하여 그로킹 심각도의 차이를 설명한다.
• 학습 중 가중치 노름을 제약하여 그로킹을 경험적으로 제거함으로써 메커니즘의 예측 능력을 검증한다.

실험 결과

연구 질문

• RQ1 과도 피팅 이후 관찰되는 지연된 일반화 현상의 원인은 무엇인가? 특히 그로킹의 기원은 무엇인가?
• RQ2 이미지 분류, 감성 분석, 분자 성질 예측과 같은 비알고리즘 데이터셋에서도 그로킹을 유도할 수 있는가?
• RQ3 왜 알고리즘 데이터셋에서 그로킹이 실세계 데이터셋(MNIST)보다 더 뚜렷하게 나타나는가?
• RQ4 표현 학습은 그로킹 신호의 강도와 관측 가능성에 어떤 영향을 미치는가?
• RQ5 LU 메커니즘은 데이터 크기 의존성, 가중치 감소 의존성, 표현의 등장 현상 등을 설명할 수 있는가?

주요 결과

• 학습 손실이 가중치 노름에 대해 L자 형태이고, 테스트 손실이 U자 형태인 LU 메커니즘이 손실 경계의 불일치를 통해 그로킹의 기원을 설명한다.
• 그로킹은 이미지 분류(MNIST), 감성 분석(IMDb), 분자 성질 예측(QM9) 등에서 관찰되나, 알고리즘 작업에 비해 신호가 더 약하다.
• 그로킹의 심각도는 학습된 표현에 대한 테스트 성능의 의존성과 강하게 상관되며, 이는 알고리즘 데이터셋에서는 높고, MNIST에서는 낮다.
• 학습 중 가중치 노름을 제약하면 그로킹이 거의 사라지며, 이는 손실 경계 불일치가 현상의 핵심임을 확인한다.
• 그로킹 시간은 t ∝ 1/λ 비례로 스케일링되며, 이는 경험적 관측과 일치하고 LU 메커니즘의 예측 타당성을 뒷받침한다.
• 본 연구는 감소된 손실 경계 분석이 데이터-모델 상호작용과 표현 학습 동역학을 진단하는 데 강력한 도구임을 보여준다.