[논문 리뷰] When Do You Need Billions of Words of Pretraining Data?

Yian Zhang, Alex Warstadt외 2명|arXiv (Cornell University)|2020. 11. 10.

Topic Modeling참고 문헌 46인용 수 16

한 줄 요약

이 논문은 RoBERTa 스타일의 언어 모델이 언어적 및 다운스트림 NLU 능력을 습득하기 위해 얼마나 많은 사전 훈련 데이터가 필요한지 조사한다. 100만에서 10억 단어의 데이터로 미니BERTa 모델을 사전 훈련한 후, 네 가지 프로빙 방법을 사용하여 분석한 결과, 문법적 및 의미적 특징은 약 1억 단어에서 대부분 습득되지만, 다운스트림 NLU 작업에서의 성능 향상은 수십억 단어가 필요함을 확인하였다. 이는 공통 지식 및 작업 특화 지식이 스케일이 증가함에 따라 성능 향상의 주요 원인임을 시사한다.

ABSTRACT

NLP is currently dominated by general-purpose pretrained language models like RoBERTa, which achieve strong performance on NLU tasks through pretraining on billions of words. But what exact knowledge or skills do Transformer LMs learn from large-scale pretraining that they cannot learn from less data? We adopt four probing methods---classifier probing, information-theoretic probing, unsupervised relative acceptability judgment, and fine-tuning on NLU tasks---and draw learning curves that track the growth of these different measures of linguistic ability with respect to pretraining data volume using the MiniBERTas, a group of RoBERTa models pretrained on 1M, 10M, 100M and 1B words. We find that LMs require only about 10M or 100M words to learn representations that reliably encode most syntactic and semantic features we test. A much larger quantity of data is needed in order to acquire enough commonsense knowledge and other skills required to master typical downstream NLU tasks. The results suggest that, while the ability to encode linguistic features is almost certainly necessary for language understanding, it is likely that other forms of knowledge are the major drivers of recent improvements in language understanding among large pretrained models.

연구 동기 및 목표

• 언어 모델이 문법 및 의미와 같은 핵심 언어적 특징을 습득하기 위해 필요한 최소한의 사전 훈련 데이터를 규명하는 것.
• 다운스트림 NLU 작업에서 높은 성능을 내기 위해 대규모 사전 훈련(수십억 단어)이 필수적인지 조사하는 것.
• 대규모 모델에서 성능 향상의 원인으로 작용하는 언어 표현 학습과 다른 지식 유형(예: 공통 지식) 간의 기여도를 분리하는 것.
• 다양한 프로빙 방법의 상대적 효과성을 평가하여, 다양한 데이터 스케일에서 언어 지식 습득 정도를 측정하는 데에 유용한지 분석하는 것.
• 100만에서 10억 단어의 다양한 데이터량을 기반으로 한 모델 성능을 비교하며, 약 300억 단어로 사전 훈련된 전체 규모의 RoBERTa 모델을 포함하는 것.

제안 방법

• 위키피디아와 스매시월즈에서 100만, 1,000만, 1억, 10억 단어의 데이터를 사용해 여러 랜덤 시드를 활용해 RoBERTa 모델(미니BERTa)을 훈련하여 결과의 탄력성 확보.
• 네 가지 프로빙 방법 적용: (1) 엣지 프로빙 툴킷에서 분류기 프로빙을 통해 추출 가능한 문법적 및 의미적 특징 평가; (2) 최소 기술 길이(MDL) 프로빙을 통해 특징의 접근성 측정; (3) BLiMP 벤치마크에서 비지도 수용 가능성 평가를 통해 문법 현상 분석; (4) SuperGLUE의 다섯 가지 작업에 대해 미세 조정하여 다운스트림 NLU 성능 평가.
• 모든 프로빙 점수를 최소-최대 정규화를 통해 [0,1] 범위로 변환하여, 0은 최악의 성능 모델(예: 무작위 초기화)을, 1은 최고 성능 모델(예: RoBERTa BASE)을 의미하도록 설정.
• 학습 곡선에 로지스틱 곡선을 피팅하여 다양한 데이터 양에서의 성능 증가 추세를 시각화하고 비교.
• RoBERTa BASE(약 300억 단어)를 고용량 기준 모델로 사용하여 스케일에서의 성능 비교.
• 여러 프로빙 방법의 결과를 종합적으로 분석하여 일관성을 확보하고, 단일 지표에 대한 과도한 의존 방지.

실험 결과

연구 질문

• RQ1 RoBERTa 모델이 핵심 문법적 및 의미적 특징을 안정적으로 표현하기 시작하는 데이터 스케일은 어느 정도인가?
• RQ2 다운스트림 NLU 작업(예: SuperGLUE)에서의 성능은 사전 훈련 데이터 양이 증가함에 따라 어떻게 변화하는가?
• RQ3 1억 단어를 초과한 이후로도 언어적 특징(예: 동질성, 바인딩)이 얼마나 향상되는가?
• RQ4 언어적 특징 습득에 비해 NLU 작업에서 성능 향상을 위해 왜 훨씬 더 많은 데이터(수십억 단어)가 필요한가?
• RQ5 NLU 작업에서의 성능 향상은 언어 지식 때문인가, 아니면 공통 지식이나 세계 지식과 같은 다른 지식 유형 때문인가?

주요 결과

• 1억 단어로 사전 훈련된 모델는 RoBERTa BASE(약 300억 단어로 사전 훈련)와 거의 구분되지 않을 정도로 언어적 프로빙 작업에서 높은 성능를 보였다.
• 분류기 프로빙과 MDL 프로빙 결과, 문법적 및 의미적 특징은 약 1억 단어에서 대부분 습득되었으며, 그 이상의 데이터로는 거의 성능 향상이 없었다.
• BLiMP 벤치마크에서 비지도 수용 가능성 평가 결과, 문법 지식은 약 1,000만 단어까지 급격히 향상되었고, 1억 단어를 초과하면 점차 수익 감소 현상이 나타났다.
• SuperGLUE 작업에서의 다운스트림 NLU 성능은 사전 훈련 데이터가 1억 단어를 초과할 때 비로소 상당한 향상이 있었으며, 10억 단어까지 계속해서 성능 향상 추세를 보였다.
• 1억 단어 모델과 300억 단어 모델 간의 SuperGLUE 성능 격차는 크며, 이는 공통 지식 및 작업 특화 지식이 언어적 구조보다 훨씬 더 많은 데이터가 필요함을 시사한다.
• 결과는 언어 표현이 언어 이해에 필수적이지만 충분치 않으며, 스케일이 증가함에 따라 성능 향상의 주요 원인은 다른 지식 유형임을 시사한다.