[논문 리뷰] Same Pre-training Loss, Better Downstream: Implicit Bias Matters for Language Models

Hong Liu, Sang Michael Xie외 2명|arXiv (Cornell University)|2022. 10. 25.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델에서 미리 훈련된 손실(예: 난이도)이 다운스트림 성능의 신뢰할 수 있는 대체 척도임을 전제로 하는 전통적 접근 방식을 도전한다. 이는 동일한 최소한의 손실을 가진 모델들이 다운스트림 성능에서 극명하게 다른 성능을 보일 수 있음을 입증하며, 더 나은 다운스트림 성능을 이끄는 핵심 요인으로 암묵적 편향(특히 더 평탄한 최소값을 선호하는 경향)을 규명한다. 이는 SGD가 암묵적으로 더 평탄한 해를 선호하며, pre-training 손실이 동일한 상황에서도 평탄도와 다운스트림 정확도 사이에 강한 상관관계가 있음을 경험적으로 검증함으로써 이를 입증한다.

ABSTRACT

Language modeling on large-scale datasets leads to impressive performance gains on various downstream language tasks. The validation pre-training loss (or perplexity in autoregressive language modeling) is often used as the evaluation metric when developing language models since the pre-training loss tends to be well-correlated with downstream performance (which is itself difficult to evaluate comprehensively). Contrary to this conventional wisdom, this paper shows that 1) pre-training loss cannot fully explain downstream performance and 2) flatness of the model is well-correlated with downstream performance where pre-training loss is not. On simplified datasets, we identify three ways to produce models with the same (statistically optimal) pre-training loss but different downstream performance: continue pre-training after convergence, increasing the model size, and changing the training algorithm. These experiments demonstrate the existence of implicit bias of pre-training algorithms/optimizers -- among models with the same minimal pre-training loss, they implicitly prefer more transferable ones. Toward understanding this implicit bias, we prove that SGD with standard mini-batch noise implicitly prefers flatter minima in language models, and empirically observe a strong correlation between flatness and downstream performance among models with the same minimal pre-training loss. We also prove in a synthetic language setting that among the models with the minimal pre-training loss, the flattest model transfers to downstream tasks.

연구 동기 및 목표

• 대규모 언어 모델에서 사전 훈련 손실(예: 난이도)이 다운스트림 성능의 신뢰할 수 있는 대체 척도임을 전제로 하는 가정을 도전하는 것.
• 사전 훈련 손실이 동일한데도 다운스트림 성능이 상이하게 나타나는 이유를 분석하는 것, 특히 최소 손실 근처의 포화 영역에서의 현상에 초점 맞춤.
• 자기지도 학습 사전 훈련에서 최적화 알고리즘의 암묵적 편향을 특정하고 분석하는 것, 특히 모델의 평탄도와의 관련성에 초점.
• 사전 훈련 손실과는 독립적으로 모델 평탄도와 다운스트림 이식 가능성 사이의 이론적이고 경험적인 연관성을 규명하는 것.

제안 방법

• 사전 훈련 손실을 일정하게 유지하면서 훈련 동역학, 모델 크기, 최적화 알고리즘의 영향을 분리하기 위해 단순화된 텍스트 데이터셋에서 통제 실험을 수행.
• 헤시안의 최소 고유값을 통해 모델 평탄도를 측정하고, 동일한 사전 훈련 손실을 가진 모델들 간의 다운스트림 정확도와 상관관계를 분석.
• 작업 영역의 포화 상태에서 미니배치 SGD가 인위적인 레이블 노이즈 없이도 더 평탄한 최소값을 암묵적으로 선호함을 이론적으로 증명.
• 합성 언어 모델링 설정을 통해 사전 훈련 손실이 최소화된 모델들 중에서 가장 평탄한 모델이 다운스트림 작업으로의 일반화 성능이 가장 뛰어남을 보여줌.
• 무작위 특징 이론과 농도 불등식을 활용하여 낮은 손실과 유한한 노름을 가진 해의 존재를 입증함으로써 평탄한 최소값의 실현 가능성에 기여.

실험 결과

연구 질문

• RQ1 왜 동일한 사전 훈련 손실을 가진 모델들이 다운스트림 성능에서 상이하게 나타나는가, 특히 손실가 최적에 가까운 상황에서?
• RQ2 사전 훈련 과정에서 최적화 알고리즘이 도입하는 암묵적 편향은 무엇이며, 이는 다운스트림 이식 가능성에 어떻게 영향을 미치는가?
• RQ3 사전 훈련 손실을 일정하게 유지할 때 모델의 평탄도는 다운스트림 성능과 어떻게 관련되는가?
• RQ4 지도 학습에서의 암묵적 편향 이론적 분석을 자기지도 학습 언어 모델링으로 확장할 수 있는가?
• RQ5 훈련 알고리즘 또는 모델 크기의 선택이 사전 훈련 손실과는 독립적으로 다운스트림 성능에 영향을 미치는가?

주요 결과

• 수렴 시점에 멈추는 것과 달리, 표준 SGD로 훈련하고 수렴 후에도 추가 훈련을 진행한 모델이 동일한 사전 훈련 손실을 가짐에도 불구하고 더 나은 다운스트림 성능을 보였다.
• 동일한 사전 훈련 손실을 가진 모델들 중에서 더 큰 모델이 더 작은 모델보다 성능이 뛰어나, 더 작은, 더 이식성이 떨어지는 구성에 대한 암묵적 편향이 있음을 시사한다.
• 동일한 사전 훈련 손실을 가진 적대적 훈련 모델은 표준 훈련 모델보다 다운스트림 성능이 열 劣하므로, 알고리즘적 암묵적 편향이 더욱 뚜렷하게 드러남.
• 헤시안의 최소 고유값으로 측정한 손실 곡면의 평탄도는 동일한 최소 사전 훈련 손실을 가진 모든 모델들 간에 다운스트림 성능과 강한 정적 상관관계를 보였다.
• 이론적 분석을 통해 미니배치 SGD가 인위적인 레이블 노이즈 없이도 포화 영역에서 더 평탄한 최소값을 암묵적으로 선호함을 증명함.
• 합성 언어 설정에서 사전 훈련 손실이 최소화된 모델들 중 가장 평탄한 모델이 다운스트림 작업으로의 이식 가능성에서 가장 뛰어난 성능을 보였다.