[논문 리뷰] On the Stability of Fine-tuning BERT: Misconceptions, Explanations, and Strong Baselines

Marius Mosbach, Maksym Andriushchenko외 1명|arXiv (Cornell University)|2020. 06. 08.

Nuclear reactor physics and engineering참고 문헌 41인용 수 211

한 줄 요약

이 논문은 BERT 기반 모델의 파인튜닝 불안정성이 주로 최적화의 어려움(그래디언트 소실)과 일반화 분산 때문이며, 재앙적 망각이나 작은 데이터 때문이 아님을 보여주고, 안정성을 크게 향상시키는 간단하고 강력한 baseline을 도입한다.

ABSTRACT

Fine-tuning pre-trained transformer-based language models such as BERT has become a common practice dominating leaderboards across various NLP benchmarks. Despite the strong empirical performance of fine-tuned models, fine-tuning is an unstable process: training the same model with multiple random seeds can result in a large variance of the task performance. Previous literature (Devlin et al., 2019; Lee et al., 2020; Dodge et al., 2020) identified two potential reasons for the observed instability: catastrophic forgetting and small size of the fine-tuning datasets. In this paper, we show that both hypotheses fail to explain the fine-tuning instability. We analyze BERT, RoBERTa, and ALBERT, fine-tuned on commonly used datasets from the GLUE benchmark, and show that the observed instability is caused by optimization difficulties that lead to vanishing gradients. Additionally, we show that the remaining variance of the downstream task performance can be attributed to differences in generalization where fine-tuned models with the same training loss exhibit noticeably different test performance. Based on our analysis, we present a simple but strong baseline that makes fine-tuning BERT-based models significantly more stable than the previously proposed approaches. Code to reproduce our results is available online: https://github.com/uds-lsv/bert-stable-fine-tuning.

연구 동기 및 목표

• 왜 BERT 기반 모델의 파인튜닝이 시드(seed)별로 불안정한지 조사한다.
• 일반적으로 인용되는 가설들(재앙적 망각, 작은 데이터)이 불안정성의 원인인지 평가한다.
• 불안정성을 최적화와 일반화 구성 요소로 분해한다.
• 안정성과 성능을 개선하는 간단하고 견고한 파인튜닝 baseline을 제안하고 검증한다.

제안 방법

• GLUE 태스크에서 BERT, RoBERTa, ALBERT 간 파인튜닝 안정성을 분석한다.
• 실패를 야기하는 최적화 문제를 식별하기 위해 그래디언트를 검토한다.
• ADAM의 바이어스 보정과 학습률 워밍업의 영향을 평가한다.
• 안정성에 대한 더 많은 학습 반복(더 긴 학습)의 효과를 평가한다.
• 바이어스 보정과 확장된 학습을 포함한 baseline 파인튜닝 설정을 제안하고 검증한다.

실험 결과

연구 질문

• RQ1 BERT 기반 모델의 파인튜닝 중 관찰된 불안정성의 원인은 무엇인가?
• RQ2 재앙적 망각과 작은 데이터 크기가 불안정성의 주된 원인인가?
• RQ3 최적화 역학(예: 그래디언트 소실)과 일반화가 불안정성에 어떤 기여를 하는가?
• RQ4 간단한 baseline이 아키텍처 및 데이터셋 전반에서 파인튜닝의 안정성을 개선할 수 있는가?

주요 결과

접근 방식	RTE 표준편차	RTE 평균	RTE 최대	MRPC 표준편차	MRPC 평균	MRPC 최대	CoLA 표준편차	CoLA 평균	CoLA 최대
Devlin et al. (2019)	4.5	50.9	67.5	3.9	84.0	91.2	25.6	45.6	64.6
Lee et al. (2020)	7.9	65.3	74.4	3.8	87.8	91.8	20.9	51.9	64.0
Ours	2.7	67.3	71.1	0.8	90.3	91.7	1.8	65.3	62.1

• 불안정성은 최적화의 어려움(소실되는 그래디언트)과 후기 단계의 일반화 분산으로 더 잘 설명되며, 재앙적 망각이나 적은 데이터만으로는 그렇지 않다.
• 실패 케이스는 하위 계층에서의 그래디언트 소실을 보이고, 성공 케이스는 학습 전반에 걸쳐 더 강한 그래디언트를 보인다.
• Adam의 바이어스 보정과 워밍업 유사 효과가 안정성을 크게 향상시키며, 특히 BERT와 ALBERT에 더 큰 이점을 준다; RoBERTa도 이점을 얻지만 정도는 더 작다.
• 학습 반복 수를 늘리고 학습 손실을 0에 가깝게 유도하면 개발 단계의 성능이 더 일관되게 나타난다.
• AdamW, 바이어스 보정, 학습률 2e-5, 20 에폭의 간단한 baseline은 시드 간 변동성을 현저히 낮추고 RTE, MRPC, CoLA에서 평균/최대 성능이 경쟁력 있게 나타난다.
• 이 발견은 BERT를 넘어 RoBERTa와 ALBERT에도 일반화된다.