[논문 리뷰] DrBERT: A Robust Pre-trained Model in French for Biomedical and Clinical domains

Yanis Labrak, Adrien Bazoge외 5명|arXiv (Cornell University)|2023. 04. 03.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 대규모 공개 의료 코퍼스(NACHOS)를 기반으로 훈련된, 프랑스어 생물의학 및 임상 분야를 위한 첫 번째 RoBERTa 기반 사전 훈련된 언어 모델인 DrBERT를 소개한다. 공개된 생물의학 웹 데이터에 대한 계속적인 사전 훈련이 사설 임상 데이터에 기반한 모델보다 우수한 성능을 내며, 여러 프랑스어 의료 NLP 과제에서 최신 기술 성능을 달성한다. 또한 모델 및 데이터를 개방형 라이선스 하에 공개한다.

ABSTRACT

In recent years, pre-trained language models (PLMs) achieve the best performance on a wide range of natural language processing (NLP) tasks. While the first models were trained on general domain data, specialized ones have emerged to more effectively treat specific domains. In this paper, we propose an original study of PLMs in the medical domain on French language. We compare, for the first time, the performance of PLMs trained on both public data from the web and private data from healthcare establishments. We also evaluate different learning strategies on a set of biomedical tasks. In particular, we show that we can take advantage of already existing biomedical PLMs in a foreign language by further pre-train it on our targeted data. Finally, we release the first specialized PLMs for the biomedical field in French, called DrBERT, as well as the largest corpus of medical data under free license on which these models are trained.

연구 동기 및 목표

• 프랑스어 생물의학 및 임상 도메인을 위한 첫 번째 전문화된 사전 훈련된 언어 모델을 개발하는 것.
• 다양한 사전 훈련 전략(초기 훈련, 계속적인 사전 훈련, 하이브리드 접근법)을 의료 NLP 과제에서 평가하고 비교하는 것.
• 가장 큰 개방형 프랑스어 의료 텍스트 코퍼스(NACHOS)와 개방 소스 DrBERT 모델을 유연한 라이선스 하에 공개하는 것.
• 영어 생물의학 모델(예: PubMedBERT)을 프랑스어 데이터에 맞게 미세조정함으로써 다국어 지식 전이의 효과를 평가하는 것.
• 공개 및 사설 의료 NLP 과제 모두에서 성능을 벤치마킹하는 것, 포함된 과제: 명명된 실체 인식, 품사 태깅, 다중 레이블 분류

제안 방법

• 다양한 온라인 소스에서 크롤링한 대규모 공개 프랑스어 생물의학 코퍼스(NACHOS)를 기반으로 RoBERTa 기반 모델을 사전 훈련하는 것.
• 다양한 사전 훈련 전략 평가: NACHOS에서 초기 훈련, 기존 모델(예: CamemBERT)에 대한 계속적인 사전 훈련, 프랑스어 의료 데이터에 대한 PubMedBERT의 미세조정.
• 다양한 의료 NLP 과제 12개로 구성된 종합적 벤치마크 구축: 다중 레이블 분류, NER, POS 태깅, 자연어 추론 포함.
• 병원 보고서(ChuBERT) 및 공개 생물의학 웹 자료(NACHOS)의 도메인 전용 데이터를 사용해 비교 분석 수행.
• 모델 수렴 및 성능 향상을 위해 동적 마스킹 및 최적화된 훈련 초모수(배치 크기, 학습률, 시퀀스 길이) 적용.
• 모든 모델 및 훈련 스크립트를 MIT 라이선스 하에, NACHOS 코퍼스는 CC0 1.0 하에 공개하여 완전한 재현 가능성과 접근성 확보.

Figure 1: Vocabularies Inter-coverage Matrix.

실험 결과

연구 질문

• RQ1 공개된 생물의학 웹 데이터에 기반한 프랑스어 사전 훈련이 의료 기관의 사설 임상 데이터에 기반한 모델과 비교해 유사하거나 우수한 성능을 내는가?
• RQ2 기존 영어 생물의학 모델(예: PubMedBERT)을 프랑스어 의료 데이터에 대해 계속적으로 사전 훈련하는 것이 일반 도메인 프랑스어 모델(CamemBERT)을 미세조정하는 것보다 더 좋은 결과를 낼 수 있는가?
• RQ3 DrBERT 모델은 일반 도메인 및 영어 생물의학 모델과 비교해 다양한 프랑스어 의료 NLP 과제에서 어떻게 성능을 내는가?
• RQ4 도메인 전용 사전 훈련이 프랑스어 생물의학 도메인의 문법적 및 의미적 과제에서 성능 향상에 얼마나 기여하는가?
• RQ5 영어 생물의학 모델에서의 다국어 지식 전이가 프랑스어 다운스트림 과제의 성능 향상에 상당한 기여를 할 수 있는가?

주요 결과

• NACHOS 코퍼스에 기반한 DrBERT 모델은 평가된 모든 프랑스어 의료 NLP 과제에서 CamemBERT 및 영어 생물의학 모델(BioBERT, PubMedBERT, ClinicalBERT)을 모두 초월했다.
• 병원 보고서에서의 사설 임상 데이터에 기반한 모델과 비교해도, 공개 생물의학 웹 데이터(NACHOS)에 기반한 모델이 유사하거나 더 우수한 성능을 기록했다. 이는 후자의 데이터가 더 전문적인 데이터임에도 불구하고.
• PubMedBERT를 프랑스어 NACHOS 데이터에 대해 계속적으로 사전 훈련한 모델(PubMedBERT NACHOS small)이 최신 기술 성능을 기록했으며, 효과적인 다국어 지식 전이를 입증했다.
• 특화 모델인 ChuBERT의 경우 일반 도메인 과제(예: XNLI)에서 성능 저하가 심각하여 일반화 능력이 제한됨을 시사했다.
• 7개의 DrBERT 모델을 훈련하는 데에 총 25,500 GPU 시간이 소요되었으며, 이는 376.45 kg CO2eq에 해당하여 높은 컴퓨팅 요구 수준을 반영한다.

1.a aHF classification