[논문 리뷰] SciBERT: A Pretrained Language Model for Scientific Text

Iz Beltagy, Kyle Lo외 1명|arXiv (Cornell University)|2019. 03. 26.

Topic Modeling참고 문헌 27인용 수 48

한 줄 요약

SciBert는 대규모 과학 문헌을 통해 도메인 내 어휘로 사전학습하여 BERT-Base를 넘어서는 성능을 보이고, 여러 과학 NLP 작업에서 새로운 SOTA를 달성합니다. 파인튜닝된 SciBert는 일반적으로 고정 임베딩을 사용하는 것보다 더 나은 결과를 내는 경향이 있습니다.

ABSTRACT

Obtaining large-scale annotated data for NLP tasks in the scientific domain is challenging and expensive. We release SciBERT, a pretrained language model based on BERT (Devlin et al., 2018) to address the lack of high-quality, large-scale labeled scientific data. SciBERT leverages unsupervised pretraining on a large multi-domain corpus of scientific publications to improve performance on downstream scientific NLP tasks. We evaluate on a suite of tasks including sequence tagging, sentence classification and dependency parsing, with datasets from a variety of scientific domains. We demonstrate statistically significant improvements over BERT and achieve new state-of-the-art results on several of these tasks. The code and pretrained models are available at https://github.com/allenai/scibert/.

연구 동기 및 목표

• 고품질의 레이블링된 과학 데이터가 제한되어 도메인 특화 사전학습의 필요성을 동기화한다.
• 대규모 과학 코퍼스에서 학습된 BERT-기반 모델로 SciBert를 제안한다.
• 파인튜닝과 고정 임베딩의 차이 및 도메인 어휘의 영향력을 평가한다.
• SciBert가 다양한 과학 NLP 작업에서 개선과 새로운 SOTA를 달성함을 보여준다.

제안 방법

• 과학 텍스트에 대해 두 토큰 예측 목표를 갖춘 Bert 아키텍처를 사전학습에 채택한다.
• SentencePiece를 사용해 30K 도메인 어휘를 생성하는 SciVocab를 구축한다.
• 전체 텍스트를 포함한 1.14M 편의 Semantic Scholar 논문(3.17B 토큰)에서 SciBert를 학습한다.
• 다양한 작업에서 cased/uncased 및 BaseVocab/SciVocab 변형을 평가한다.
• 임베딩을 파인튜닝하거나 고정하고 도메인 내 사전학습의 이점을 평가하기 위해 아키텍처를 비교한다.
• 표준 지표로 평가하면서 드롭아웃, Adam 최적화 및 기울이 비스듬한 삼각 학습률 스케줄을 사용한다.

실험 결과

연구 질문

• RQ1 과학 텍스트에 대한 도메인 내 사전학습이 일반 BERT에 비해 과학 NLP 작업의 성능을 향상시키는가?
• RQ2 하위 작업에서 원래의 BaseVocab 대신 도메인 내 SciVocab를 사용하는 것이 어떤 영향을 미치는가?
• RQ3 고정 임베딩 위의 태스크별 아키텍처가 SciBert의 전체 파인튜닝과 경쟁력이 있는가?
• RQ4 SciBert가 생물의학, 컴퓨터 과학 및 다도메인 데이터셋에서 이전의 SOTA와 비교하여 어떤 성능을 보이는가?

주요 결과

• SciBert는 파인튜닝 시 +2.11 F1, 비파인튜닝 시 +2.43 F1의 개선으로 BERT-Base보다 과학 작업에서 우수성을 보인다(데이터세트 평균).
• SciBert는 특히 생물의학 및 컴퓨터 과학 도메인에서 다수의 작업에 대해 새로운 SOTA를 달성한다.
• BioBert 및 기타 도메인 모델과 비교할 때 SciBert는 BC5CDR, ChemProt, ACL-ARC, SciCite 등 다수의 데이터셋에서 경쟁력 있거나 우수한 성능을 보인다.
• 대부분의 도메인에서 파인튜닝된 SciBert가 고정 임베딩보다 벤치마크를 더 크게 능가하며, 파인튜닝이 가장 큰 이득을 제공한다.
• 도메인 내 SciVocab를 사용하는 것이 BaseVocab에 비해 평균 +0.60 F1의 modest 추가 이득을 주며, 코퍼스 사전학습이 대부분의 이점을 주도한다.