[논문 리뷰] Biomedical and Clinical Language Models for Spanish: On the Benefits of Domain-Specific Pretraining in a Mid-Resource Scenario

Casimiro Pio Carrino, Jordi Armengol-Estapé외 5명|arXiv (Cornell University)|2021. 09. 08.

Topic Modeling참고 문헌 26인용 수 23

한 줄 요약

이 논문은 저자들이 혼합 도메인(생물의학 및 임상) 데이터를 사용하여 처음으로 초기 학습된 스페인어 기반의 생물의학 및 임상 트랜스포머 기반의 언어 모델을 제시한다. 이는 자원이 적은 환경에서 성능을 향상시키기 위한 것이다. 도메인 특화 사전학습과 어휘 최적화를 통해, 이 모델들은 생물의학 및 실제 병원 퇴원 보고서 모두에서 mBERT와 BETO를 뛰어넘는 성능을 보였다.

ABSTRACT

This work presents biomedical and clinical language models for Spanish by experimenting with different pretraining choices, such as masking at word and subword level, varying the vocabulary size and testing with domain data, looking for better language representations. Interestingly, in the absence of enough clinical data to train a model from scratch, we applied mixed-domain pretraining and cross-domain transfer approaches to generate a performant bio-clinical model suitable for real-world clinical data. We evaluated our models on Named Entity Recognition (NER) tasks for biomedical documents and challenging hospital discharge reports. When compared against the competitive mBERT and BETO models, we outperform them in all NER tasks by a significant margin. Finally, we studied the impact of the model's vocabulary on the NER performances by offering an interesting vocabulary-centric analysis. The results confirm that domain-specific pretraining is fundamental to achieving higher performances in downstream NER tasks, even within a mid-resource scenario. To the best of our knowledge, we provide the first biomedical and clinical transformer-based pretrained language models for Spanish, intending to boost native Spanish NLP applications in biomedicine. Our best models are freely available in the HuggingFace hub: https://huggingface.co/BSC-TeMU.

연구 동기 및 목표

• 스페인어 생물의학 및 임상 환경에서 도메인 특화 NLP 자원의 부족을 해결한다.
• mBERT와 BETO와 같은 일반 도메인 모델이 자원이 적은 도메인 특화 NER 작업에서 가지는 한계를 극복한다.
• 혼합 도메인 사전학습과 어휘 설계의 효과성을 검증한다.
• 실제 응용을 위한 공개적으로 이용 가능한 고성능 스페인어 생물의학 및 임상 언어 모델을 개발하고 배포한다.

제안 방법

• 총 약 130M 토큰에 이르는 생물의학 및 임상 코퍼스를 결합하여 RoBERTa 기반 모델을 처음부터 학습시켰다.
• 다양한 마스킹 전략을 탐색: 서브워드 수준 마스킹(SWM)과 워드 전체 마스킹(WWM), 어휘 크기 다양화(15k, 30k, 52k).
• 생물의학 텍스트(PubMed, SciELO, 임상 사례, 크롤러 데이터)와 임상 노트(퇴원 요약, X-ray 보고서)를 결합하여 혼합 도메인 사전학습을 구현했다.
• 혼합 데이터로 학습했음에도 불구하고, 임상 NER 작업 성능 평가를 위해 교차 도메인 전이 학습을 적용했다.
• mBERT, BETO, 그리고 제안된 모델 간의 분할 출력을 비교하는 어휘 중심 분석을 수행했다.
• 표준 F1 점수를 사용하여 세 가지 NER 벤치마크에서 모델 성능을 평가: 생물의학 두 개(BioCreative, CANTEMIST)와 임상 하나(ICTUSnet).

실험 결과

연구 질문

• RQ1 중간 자원 환경에서 일반 도메인 모델과 비교해 도메인 특화 사전학습이 스페인어 NER 성능을 어떻게 향상시키는가?
• RQ2 서브워드 수준 마스킹(SWM)과 워드 전체 마스킹(WWM) 간의 선택이 후속 NER 성능에 어떤 영향을 미치는가?
• RQ3 생물의학 및 임상 데이터를 혼합하여 사전학습하면 단일 도메인 사전학습보다 임상 NER 작업에서 더 나은 성능을 낼 수 있는가?
• RQ4 어휘 크기와 분할 전략이 희귀하거나 복잡한 의료 용어 처리에 있어 NER 성능에 어떤 영향을 미치는가?
• RQ5 생물의학 데이터에서 임상 데이터로의 교차 도메인 전이가 실제 병원 퇴원 보고서의 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 bio-cli-52k 모델은 모든 NER 작업에서 가장 높은 F1 점수를 기록했으며, 생물의학 및 임상 벤치마크에서 mBERT와 BETO를 모두 뛰어넘었다.
• 워드 전체 마스킹(WWM)과 30k 어휘 크기를 가진 모델은 생물의학 작업에서 뛰어난 성능을 보였으며, 마스킹 전략과 어휘 크기 간의 강한 상호작용을 시사했다.
• 생물의학 + 임상 데이터를 포함한 혼합 도메인 사전학습이 가장 우수한 종합 성능을 보였으며, 이는 이전 연구에서 혼합 도메인 사전학습이 성능을 떨어뜨린다는 주장과 도전적이다.
• 어휘 중심 분석 결과, mBERT와 BETO에서 흔히 발생하는 과다 분할(over-segmentation)이 NER 성능에 악영향을 미칠 수 있으며, 특히 복합 의료 용어에서 두드러진다.
• bio-cli-52k-vocab-cli 모델은 ICTUSnet 임상 테스트 세트에서 가장 높은 F1 점수를 기록하여 생물의학 데이터에서 임상 데이터로의 강력한 교차 도메인 전이 가능성을 보여주었다.
• 결과는 자원이 적은 환경에서 고성능을 달성하기 위해 도메인 특화 사전학습이 필수적임을 확인한다. 이는 학습 데이터가 제한되어 있더라도 마찬가지이다.