[논문 리뷰] Sudden Drops in the Loss: Syntax Acquisition, Phase Transitions, and Simplicity Bias in MLMs

Angelica Chen, Ravid Schwartz-Ziv외 3명|arXiv (Cornell University)|2023. 09. 13.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 마스크된 언어 모델(MLMs)에서의 급격한 학습 동역학을 조사하며, 손실이 급격히 감소하는 것과 동시에 발생하는 문법적 의존성에 집중하는 전용 어텐션 헤드인 문법적 어텐션 구조(Syntactic Attention Structure, SAS)의 돌연한 등장을 규명한다. 연구는 SAS가 문법적 능력 발달을 위해 인과적으로 필수적임을 입증하며, 일시적으로 SAS를 억제하면 수렴 속도가 빨라지고 최종 성능이 향상됨을 보여주며, 사전학습 중에 중요한 학습 기간과 단순성 편향이 존재함을 드러낸다.

ABSTRACT

Most interpretability research in NLP focuses on understanding the behavior and features of a fully trained model. However, certain insights into model behavior may only be accessible by observing the trajectory of the training process. We present a case study of syntax acquisition in masked language models (MLMs) that demonstrates how analyzing the evolution of interpretable artifacts throughout training deepens our understanding of emergent behavior. In particular, we study Syntactic Attention Structure (SAS), a naturally emerging property of MLMs wherein specific Transformer heads tend to focus on specific syntactic relations. We identify a brief window in pretraining when models abruptly acquire SAS, concurrent with a steep drop in loss. This breakthrough precipitates the subsequent acquisition of linguistic capabilities. We then examine the causal role of SAS by manipulating SAS during training, and demonstrate that SAS is necessary for the development of grammatical capabilities. We further find that SAS competes with other beneficial traits during training, and that briefly suppressing SAS improves model quality. These findings offer an interpretation of a real-world example of both simplicity bias and breakthrough training dynamics.

연구 동기 및 목표

• MLM 사전학습 과정에서 문법적 구조 습득이 어떻게 발생하는지 최종 모델 분석을 넘어서 이해하는 것.
• 문법적 능력 발달과 Syntactic Attention Structure(SAS)가 인과관계가 있는지 조사하는 것.
• 사전학습 과정에서 SAS가 다른 학습 전략과 경쟁하는 데서 수행하는 역할을 분석하는 것.
• 사전학습 중 SAS를 조작함으로써 수렴 속도와 최종 성능 향상을 이룰 수 있는지 탐색하는 것.
• 해석 가능성 아티팩트의 동적 모니터링을 통해 MLM 사전학습에서의 중요한 학습 기간을 특정하고 특성화하는 것.

제안 방법

• 의존성 파싱 정확도를 통해 어텐션 분포를 이용해 Syntactic Attention Structure(SAS)를 모니터링하고, 무라벨 첨부 점수(UAS)를 대체 지표로 사용.
• SAS를 사전학습 중에 억제하기 위한 미분 가능한 정규화 항을 도입하여 이 구조적 특성을 제어 가능한 방식으로 조작.
• 여러 랜덤 시드를 통해 MLM 손실, 암묵적 파싱 정확도(UAS), GLUE 및 BLiMP 점수 등 다양한 지표를 통해 학습 동역학을 추적.
• 모든 보고된 지표에 대해 95% 신뢰구간을 계산하기 위해 비모수 부트스트랩을 사용.
• 고정 및 가변 사전학습 기간에서 SAS 억제 여부에 따라 모델을 비교하여 인과 효과를 분리.
• 시간에 따라 중심화된 커널 일치도(CKA)와 총 변동 거리(TVD)를 통해 표현적 및 기능적 유사도를 분석.

실험 결과

연구 질문

• RQ1 Syntactic Attention Structure(SAS)는 사전학습의 어느 시점에 등장하며, 손실 동역학과 어떻게 상관관계가 있는가?
• RQ2 SAS는 MLM에서 문법적 능력 습득을 위해 인과적으로 필수적인가?
• RQ3 사전학습 과정에서 SAS와 다른 학습 전략 간의 경쟁이 발생하는가? 만약 그렇다면, 이러한 경쟁은 모델 성능에 어떤 영향을 미치는가?
• RQ4 특정 창구 동안 SAS를 억제하면 최종 모델 품질 향상과 수렴 속도 향상이 이루어지는가?
• RQ5 SAS의 중요한 학습 기간은 스케일이 증가해도 유지되는가, 아니면 초기 억제 후에도 모델이 결국 수렴하는가?

주요 결과

• SAS의 급격한 증가가 일정한 사전학습 시점에서 발생하며, 이는 손실이 급격히 감소하기 직전에 발생한다. 저자는 이를 '구조적 등장(Structure Onset)'이라고 명명한다.
• SAS의 출현 이후 BLiMP 점수로 측정된 문법적 능력이 급격히 향상되며, 이는 '능력의 등장(Capabilities Onset)'으로 불리며, 성능 기능의 단계 전이를 나타낸다.
• SAS는 문법적 능력 발달에 인과적으로 필수적이다: SAS를 억제한 채로 학습한 모델은 이러한 능력을 습득하지 못한다.
• 중요 창구 동안 SAS를 일시적으로 억제하면 최종 모델 품질 향상과 수렴 속도 향상이 이루어지며, 가장 우수한 성능을 낸 모델은 MLM 손실 1.55 ± 0.01을 기록한다.
• 대체 전략의 등장 이후 SAS를 억제하면 성능이 저하되고 장기적인 SAS 복구가 차단되며, 이는 중요한 학습 단계의 종료 지점임을 시사한다.
• 초기 이질성에도 불구하고, SAS 억제를 통해 학습한 장기 모델(300K 스텝)은 표준 BERT와 유사한 성능 수준에 수렴하며, 최종 지표에서 통계적으로 유의미한 차이가 없다.

(a) Intrinsic dimension (TwoNN) complexity. Alternative complexity metrics in Section L.2 .