[논문 리뷰] The Diminishing Returns of Masked Language Models to Science

Zhi Hong, Aswathy Ajith외 4명|arXiv (Cornell University)|2022. 05. 23.

Topic Modeling인용 수 11

한 줄 요약

이 연구는 14개의 과학 전용 BERT 모델, 특히 770M 파라미터를 가진 SCHOLARBERT를 포함하여 모델 크기, 훈련 데이터 볼륨, 사전 훈련/微조정 시간이 12개의 과학 정보 추출 작업에 미치는 영향을 평가한다. 연구 결과, 이러한 자원을 늘일수록 수익 감소 현상이 나타나며, F1 점수 1% 이상의 향상은 드물고 매우 작업에 따라 달라지며, 과학 NLP 분야에서 스케일링 이점에 대한 기존 가정을 도전한다.

ABSTRACT

Transformer-based masked language models such as BERT, trained on general corpora, have shown impressive performance on downstream tasks. It has also been demonstrated that the downstream task performance of such models can be improved by pretraining larger models for longer on more data. In this work, we empirically evaluate the extent to which these results extend to tasks in science. We use 14 domain-specific transformer-based models (including ScholarBERT, a new 770M-parameter science-focused masked language model pretrained on up to 225B tokens) to evaluate the impact of training data, model size, pretraining and finetuning time on 12 downstream scientific tasks. Interestingly, we find that increasing model sizes, training data, or compute time does not always lead to significant improvements (i.e., >1% F1), if at all, in scientific information extraction tasks and offered possible explanations for the surprising performance differences.

연구 동기 및 목표

• 모델 크기, 훈련 데이터, 계산 시간을 늘일수록 과학 정보 추출 작업 성능이 향상되는지 조사하기 위해
• 일반 모델 또는 소규모 도메인 모델 대비 대규모 다분야 과학 문헌 코퍼스를 활용한 도메인 특화 사전 훈련이 일관된 성능 향상을 제공하는지 평가하기 위해
• 하류 과학 NLP 작업을 위한 사전 훈련 시, 다양한 과학 텍스트(225B 토큰)를 사용하는 것과 소규모 또는 전문화된 코퍼스를 사용하는 것의 효과성을 평가하기 위해
• 일반 도메인 언어 모델(예: GPT)에서 관찰된 스케일링 법칙이 과학 중심 마스크된 언어 모델에 적용되는지 여부를 확인하기 위해

제안 방법

• Public.Resource.Org에서 확보한 225B 토큰의 다분야 과학 코퍼스를 기반으로 14개의 BERT 기반 모델을 사전 훈련하였다.
• RoBERTa 사전 훈련 절차를 활용하여 다양한 데이터 서브셋(1%, 10%, 100%)과 위키북스 추가 여부를 고려해 SCHOLARBERT 모델을 생성하였다.
• 생성된 모델을 생물의학, 화학, 재료 과학 분야에서의 8개 명명된 실체 인식(NER) 및 4개 문장 분류 작업을 포함한 12개의 하류 과학 작업에서 훈련 및 평가하였다.
• 다섯 번의 랜덤 실행 평균 F1 점수를 측정하였으며, 분산을 표준편차로 기재하여 변동성 평가를 수행하였다.
• 모델 간 비교를 위해 아키텍처, 사전 훈련 방법, 코퍼스, 케이싱의 네 가지 차원을 고려하여 스케일링과 도메인 특화성의 영향을 분리하였다.
• 모든 작업에서 표준화된 미세조정 프rotocol를 사용하여 모델 성능 비교의 공정성을 확보하였다.

실험 결과

연구 질문

• RQ1 모델 크기, 훈련 데이터, 사전 훈련 시간을 늘릴수록 하류 과학 정보 추출 작업에서 성능 향상이 일관되게 이루어지는가?
• RQ2 대규모 다분야 과학 코퍼스(225B 토큰)를 활용한 도메인 특화 사전 훈련이 일반 또는 소규모 도메인 사전 훈련보다 얼마나 뛰어난가?
• RQ3 일반 도메인 언어 모델(예: GPT)에서 관찰된 스케일링 법칙이 과학 중심 마스크된 언어 모델에 적용되는가?
• RQ4 다양한 과학 분야와 작업 유형 간 스케일링으로 인한 성능 향상은 어떻게 비교되는가?

주요 결과

• 모델 크기나 사전 훈련 데이터를 늘려도 일관된 성능 향상이 나타나지 않았다: 12개 작업 중 15%만에서 더 큰 모델이나 더 많은 데이터로 인해 F1 점수 1% 이상 향상됨.
• SCHOLARBERT-XL(770M 파라미터)은 12개 작업 중 5개에서 가장 높은 F1 점수를 기록했지만, 대부분의 작업에서 더 작은 모델 대비 성능 향상은 미미(≤1% F1)하였다.
• NCBI-Disease 및 SciERC NER 작업에서는 일반 코퍼스(예: BERT-Base)에서 사전 훈련한 모델가 도메인 특화 모델인 SciBERT나 PubMedBERT보다 유사하거나 뛰어난 성능을 보였다.
• Coleridge 및 ChemProt 문장 분류 작업에서는 더 작은 또는 비과학 코퍼스(예: SB_1)에서 사전 훈련한 모델가 더 큰 과학 전용 모델보다 동등하거나 뛰어난 성능을 보였다.
• 사전 훈련에 위키북스를 추가한 경우(예: SB_10_WB, SB_100_WB) 여러 작업에서 성능 저하가 발생하여 도메인 불일치 또는 과적합 위험이 있음을 시사하였다.
• 모델 간 표준편차의 상당한 겹침(그림 2 및 3의 오차 막대에서 명백함)은 성능 차이가 대부분 통계적으로 탄탄하지 않음을 나타내며, 특히 더 큰 모델에서는 더욱 두드러졌다.