[논문 리뷰] Pre-training technique to localize medical BERT and enhance biomedical BERT

Shoya Wada, Toshihiro Takeda외 4명|arXiv (Cornell University)|2020. 05. 14.

Topic Modeling참고 문헌 26인용 수 15

한 줄 요약

이 논문은 도메인 특화 코퍼스를 확대하고 일반 도메인 코퍼스와 균형 잡힌 방식으로 조합함으로써 생물의학 BERT를 향상시키는 사전 훈련 기법을 제안한다. 확대된 어휘를 사용하여, 이 방법은 의료 텍스트 분류 및 생물의학 이해 벤치마크에서 성능을 크게 향상시키며, 사전 훈련 시 임상 노트를 사용하지 않은 상태에서 BLUE 벤치마크에서 기준 모델보다 0.3점 높은 성능을 기록한다.

ABSTRACT

Pre-training large-scale neural language models on raw texts has made a significant contribution to improving transfer learning in natural language processing (NLP). With the introduction of transformer-based language models, such as bidirectional encoder representations from transformers (BERT), the performance of information extraction from a free text by NLP has significantly improved for both the general domain and medical domain; however, it is difficult to train specific BERT models that perform well for domains in which there are few publicly available databases of high quality and large size. We hypothesized that this problem can be addressed by up-sampling a domain-specific corpus and using it for pre-training with a larger corpus in a balanced manner. Our proposed method consists of a single intervention with one option: simultaneous pre-training after up-sampling and amplified vocabulary. We conducted three experiments and evaluated the resulting products. We confirmed that our Japanese medical BERT outperformed conventional baselines and the other BERT models in terms of the medical document classification task and that our English BERT pre-trained using both the general and medical-domain corpora performed sufficiently well for practical use in terms of the biomedical language understanding evaluation (BLUE) benchmark. Moreover, our enhanced biomedical BERT model, in which clinical notes were not used during pre-training, showed that both the clinical and biomedical scores of the BLUE benchmark were 0.3 points above that of the ablation model trained without our proposed method. Well-balanced pre-training by up-sampling instances derived from a corpus appropriate for the target task allows us to construct a high-performance BERT model.

연구 동기 및 목표

• 큰 규모의 고품질 도메인 특화 데이터셋이 확보되지 않은 상황에서 고성능의 도메인 특화 BERT 모델을 훈련하는 데 도전하는 것.
• 의료 텍스트 분류 및 언어 이해 작업에서 생물의학 BERT의 성능을 향상시키는 것.
• 더 나은 전이 학습을 위해 도메인 특화 및 일반 도메인 코퍼스를 효과적으로 균형 잡는 사전 훈련 전략을 개발하는 것.
• 사전 훈련 시 임상 노트에 의존하지 않고도 고성능의 국소화된 의료 BERT 모델을 구축할 수 있도록 하는 것.
• 사전 훈련된 가중치와 미세조정 코드를 공개하여 더 넓은 연구 활용을 지원하는 것.

제안 방법

• 사소한 도메인 특화 의료 코퍼스를 확대하여 사전 훈련 중 일반 도메인 코퍼스와 균형을 이루도록 하는 것.
• 확대된 의료 코퍼스와 일반 도메인 코퍼스를 동시에 사용해 BERT 모델을 사전 훈련하는 것.
• 의료 도메인에 관련된 도메인 특화 토큰을 포함하도록 어휘를 확장하는 것.
• 모델 국소화를 향상시키기 위해 두 코퍼스를 균형 잡힌 방식으로 통합하는 단일 사전 훈련 단계를 적용하는 것.
• 영문 및 일본어 의료 BERT 버전 모두에 동일한 사전 훈련 절차를 적용하는 것.
• 결합된 코퍼스에 맞게 조정된 마스크된 언어 모델링 및 다음 문장 예측 목표를 사용해 모델을 훈련하는 것.

실험 결과

연구 질문

• RQ1 작은 의료 코퍼스를 확대하고 더 큰 일반 도메인 코퍼스와 조합함으로써 도메인 특화 BERT 모델의 성능을 향상시킬 수 있는가?
• RQ2 확대된 어휘를 사용한 균형 잡힌 사전 훈련이 의료 텍스트 분류 작업에서 더 높은 성능을 낼 수 있는가?
• RQ3 임상 노트를 사용하지 않고 사전 훈련한 생물의학 BERT 모델이 여전히 생물의학 이해 벤치마크에서 높은 성능을 낼 수 있는가?
• RQ4 기존의 사전 훈련 기준 모델과 비교해 본다면, 제안된 방법은 전이 학습 효과성 측면에서 어떻게 다른가?
• RQ5 향상된 BERT 모델은 BLUE 벤치마크에서 성능을 어느 정도 향상시키는가?

주요 결과

• 제안된 일본어 의료 BERT는 의료 문서 분류 작업에서 기존의 기준 모델을 능가하는 성능을 보였다.
• 일반 및 의료 코퍼스를 모두 사용해 사전 훈련한 영문 BERT 모델은 BLUE 벤치마크에서 실용적 사용에 적합한 성능을 달성했다.
• 임상 노트를 사용하지 않고 사전 훈련한 향상된 생물의학 BERT 모델은 BLUE 벤치마크의 임상 및 생물의학 하위 작업에서 아블레이션 모델보다 0.3점 높은 점수를 기록했다.
• 확대된 도메인 특화 데이터를 사용한 잘 균형 잡힌 사전 훈련은 평가 작업 전반에서 모델 성능을 크게 향상시켰다.
• 이 방법은 전략적 데이터 증강과 균형 조정을 통해 고품질 도메인 데이터가 제한된 상황에서도 효과적인 도메인 국소화가 가능하다는 것을 입증했다.
• 사전 훈련된 가중치와 미세조정 코드는 재현성 및 향후 연구 지원을 위해 공개되었다.