[논문 리뷰] BioMegatron: Larger Biomedical Domain Language Model

Hoo-Chang Shin, Yang Zhang외 5명|arXiv (Cornell University)|2020. 10. 12.

Topic Modeling참고 문헌 19인용 수 11

한 줄 요약

이 논문은 광범위한 PubMed 초록과 전문 PMC 논문을 기반으로 사전 훈련된 더 큰 생물의학적 언어 모델인 BioMegatron을 소개하며, 생물의학 NLP 과제에서 최신 기술 성능을 입증한다. 도메인 특화 어휘와 목표 훈련이 모델 크기 자체보다 더 중요하다는 것을 보여주며, BioMegatron-1.2b는 명명된 실체 인식, 관계 추출, 질의 응답 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

There has been an influx of biomedical domain-specific language models, showing language models pre-trained on biomedical text perform better on biomedical domain benchmarks than those trained on general domain text corpora such as Wikipedia and Books. Yet, most works do not study the factors affecting each domain language application deeply. Additionally, the study of model size on domain-specific models has been mostly missing. We empirically study and evaluate several factors that can affect performance on domain language applications, such as the sub-word vocabulary set, model size, pre-training corpus, and domain transfer. We show consistent improvements on benchmarks with our larger BioMegatron model trained on a larger domain corpus, contributing to our understanding of domain language model applications. We demonstrate noticeable improvements over the previous state-of-the-art (SOTA) on standard biomedical NLP benchmarks of named entity recognition, relation extraction, and question answering. Model checkpoints and code are available at [https://ngc.nvidia.com] and [https://github.com/NVIDIA/NeMo].

연구 동기 및 목표

• 모델 크기, 어휘 선택, 사전 훈련 코퍼스, 도메인 전이가 생물의학 언어 모델 성능에 미치는 영향을 조사하기 위해.
• 생물의학 NLP에서 모델 확장과 도메인 특화 요소에 대한 연구가 제한되어 있음을 해결하기 위해.
• 명명된 실체 인식, 관계 추출, 질의 응답과 같은 핵심 생물의학 NLP 벤치마크 성능 향상을 위해.
• 도메인에 맞춘 모델이 일반 도메인 모델보다 작더라도 적절한 어휘와 사전 훈련을 통해 더 뛰어난 성능을 내는지 입증하기 위해.
• 재현 가능성과 생물의학 NLP 분야의 향후 연구를 지원하기 위해 오픈소스 모델 체크포인트와 코드를 제공하기 위해.

제안 방법

• 모델 병렬 훈련을 위한 효율적인 Megatron-LM 프레임워크를 사용해 345M, 800M, 1.2B 파라미터를 가진 BioMegatron의 세 가지 변형을 사전 훈련했다.
• PubMed 초록에서 45억 단어와 CC 라이선스가 적용된 PMC 전문 논문에서 16억 단어로 구성된 통합 사전 훈련 코퍼스를 사용했다.
• 생물의학 텍스트에서 학습된 SentencePiece를 통한 서브워드 어휘 집합(3만 및 5만 단위)을 비교하고, 케이스 무관 및 케이스 유형의 BERT 스타일 어휘를 평가했다.
• 일반 도메인 체크포인트(예: BERT-uncased)에서 미세조정한 결과와 비교하기 위해 모델을 처음부터 훈련시켰다.
• 표준 생물의학 벤치마크에서 성능을 평가했다: NER는 BC5CDR 및 NCBI-disease, 관계 추출은 ChemProt, 질의 응답은 BioASQ-7b.
• NER와 QA의 경우 F1 점수, 시퀀스 분류 작업의 경우 정확도와 같은 표준 지표를 사용했다.

실험 결과

연구 질문

• RQ1 모델 크기의 영향은 어휘 선택과 사전 훈련 코퍼스 대비 생물의학 NLP 과제 성능에 어떻게 작용하는가?
• RQ2 일반 도메인 어휘와는 대비하여 생물의학 텍스트에서 학습된 도메인 특화 서브워드 어휘의 영향은 무엇인가?
• RQ3 일반 도메인 언어 모델 체크포인트에서 미세조정하는 것이, 처음부터 훈련시키는 것보다 생물의학 벤치마크 성능에 더 좋게 작용하는가?
• RQ4 전체 PMC 전문 포함 생물의학 코퍼스에서 사전 훈련하는 것이 초록 전용 사전 훈련보다 후행 성능에 어떻게 영향을 미치는가?
• RQ5 저자원 생물의학 NLP 과제에서 높은 레이블 편향이 존재할 경우, 도메인 특화 사전 훈련이 성능 격차를 얼마나 줄일 수 있는가?

주요 결과

• BioMegatron-1.2b는 SQuAD-v1.1에서 F1 점수 91.8, SQuAD-v2.0에서 86.4를 기록하여 일반 도메인 벤치마크에서 BERT-Large와 RoBERTa를 능가했다.
• 5만 단어의 도메인 어휘를 사용한 345M 모델은 SQuAD-v1.1에서 F1 점수 91.6을 기록하여 BERT-Large(90.9 F1)를 능가했으며, 이는 어휘 선택이 모델 크기보다 더 큰 영향을 미칠 수 있음을 보여준다.
• BioMegatron-800m는 SQuAD-v1.1에서 F1 점수 91.6, SQuAD-v2.0에서 86.1을 기록하여, 도메인 특화 텍스트에서 사전 훈련된 더 큰 모델이 일반 도메인 모델보다 더 잘 일반화됨을 입증했다.
• 미세조정된 BioMegatron 모델(예: BioMegatron-345m-ft)은 사전 훈련된 모델 대비 성능이 낮았으며(SQuAD-v1.1에서 F1 86.5), 이는 일반 도메인 모델에서의 전이 학습보다 도메인 특화 사전 훈련이 더 효과적임을 시사한다.
• 더 큰 모델 크기에도 불구하고, BioMegatron-1.2b는 BioASQ-7b에서 BioMegatron-800m를 능가하지 못했으며, 이는 높은 레이블 편향이 있는 작은 생물의학 QA 데이터셋에서 과적합의 가능성을 시사한다.
• 연구 결과, 생물의학 데이터셋(예: BioASQ-7b에서 0.02)의 레이블 편향이 일반 도메인 데이터셋(SQuAD에서 0.4)보다 훨씬 높다는 점을 발견했으며, 이는 자원 부족과 데이터 불균형 문제를 강조한다.