[논문 리뷰] RuBioRoBERTa: a pre-trained biomedical language model for Russian language biomedical text mining

Alexander Yalunin, Alexander I. Nesterov외 1명|arXiv (Cornell University)|2022. 04. 08.

Biomedical Text Mining and Ontologies인용 수 4

한 줄 요약

이 논문은 CyberLeninka에서 확보한 12억 단어 분량의 러시아어 의료 텍스트를 기반으로 사전 훈련한 RuBioRoBERTa를 소개하며, 텍스트 분류, 질의 응답, NLI, NER 및 증상 예측 작업에서 RuMedBench 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 하류 작업에 대한 미세조정 결과, 일반 도메인 모델 및 이전 SOTA를 모두 능가하며, 약물 리뷰 분류 작업에서 인간 성능을 초월하는 71.54%의 총점 기록을 달성한다.

ABSTRACT

This paper presents several BERT-based models for Russian language biomedical text mining (RuBioBERT, RuBioRoBERTa). The models are pre-trained on a corpus of freely available texts in the Russian biomedical domain. With this pre-training, our models demonstrate state-of-the-art results on RuMedBench - Russian medical language understanding benchmark that covers a diverse set of tasks, including text classification, question answering, natural language inference, and named entity recognition.

연구 동기 및 목표

• 비영어어를 사용하는 언어에서의 도메인 맞춤형 NLP 자원 부족 문제를 해결하기 위해, 러시아어 생물의학 텍스트 마이닝을 위한 전문화된 사전 훈련된 언어 모델을 개발하는 것.
• 대규모 러시아어 의료 문헌 코퍼스에서 사전 훈련된 모델을 미세조정하여, 텍스트 분류, NER, 자연어 추론 등 다양한 의료 NLP 작업의 성능을 향상시키는 것.
• RuBioRoBERTa 및 RuBioBERT를 공개함으로써 러시아어 의료 NLP 분야의 새로운 벤치마크를 설정하고, 향후 연구를 위한 강력한 기초 모델을 제공하는 것.
• 도메인 특화 사전 훈련의 효과성을 검증하기 위해, RuMedBench 벤치마크에서 생물의학 분야에 특화된 모델과 일반 도메인 모델 간의 성능을 비교하는 것.

제안 방법

• 일반 도메인 러시아어 코퍼스에서 사전 훈련한 BERT 기반의 세 모델(RuBERT, ruBERT, ruRoBERTa)을 먼저 훈련한 후, 정제된 생물의학 코퍼스에서 추가 사전 훈련을 수행하였다.
• CyberLeninka에서 확보한 338,000건의 러시아어 의료 논문(12억 단어)을 바탕으로 생물의학 코퍼스를 구축하였으며, 이는 기초 의학, 임상의학, 생물공학, 건강 과학 분야를 포함한다.
• 생물의학 코퍼스에서 1 에포크 동안 추가 사전 훈련을 수행하였으며, 3×V100 GPU를 사용하고 학습률 웜업을 5e-5로 설정하고 코즈인 감쇠를 적용하여 총 12일간 진행하였다.
• 표준 초모수를 사용하여 RuMedBench 벤치마크의 다섯 가지 하류 작업에 대해 최종으로 유도된 RuBioRoBERTa 모델을 미세조정하였으며, 10 에포크, 배치 크기 32, 피크 학습률 3e-5 및 코즈인 안내링을 적용하였다.
• 모델 훈련 및 추론에 HuggingFace를 활용하였으며, 어휘 크기는 BERT 기반으로 12만, RoBERTa 기반으로 5만으로 설정하였고, 모델 파라미터 수는 1.78억에서 3.55억 사이였다.
• 표준 지표를 사용하여 텍스트 분류, 증상 추천, 예/아니요 질문 응답, 자연어 추론, 명명된 실체 인식 작업에서 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 대규모 러시아어 생물의학 코퍼스에서의 추가 사전 훈련이 하류 의료 NLP 작업의 성능을 크게 향상시킬 수 있는가?
• RQ2 RuMedBench 벤치마크에서 RuBioRoBERTa와 같은 도메인 적응형 모델이 일반 도메인 모델(e.g., ruRoBERTa) 및 이전 SOTA와 비교해 어떻게 성능을 냈는가?
• RQ3 특정 의료 텍스트 이해 작업에서 러시아어 생물의학 언어 모델이 인간 전문가를 초월할 수 있는 정도는 어느 정도인가?
• RQ4 생물의학 사전 훈련이 의료 약어, 질병, 증상 인식에 있어 어떤 정성적 개선을 가져왔는가?

주요 결과

• RuBioRoBERTa는 RuMedBench 벤치마크에서 71.54%의 최고 총점 기록을 달성하여 이전 SOTA보다 4.34%포인트 높은 성능을 보였다.
• Top3 작업(ICC-10 코드 예측)에서 RuBioRoBERTa의 정확도는 46.72%, hit@3는 72.87%를 기록하여 이전 최고 성능인 47.45%/70.44%를 초월하였다.
• SymRec 작업(증상 추천)에서 RuBioRoBERTa의 정확도는 44.01%, hit@3는 58.95%로, ruRoBERTa의 40.92%/54.37%를 크게 앞서며 성능을 뛰어넘었다.
• NLI 작업에서 RuBioRoBERTa의 정확도는 82.77%였고, NER 작업에서는 F1 점수가 97.19%로 이전 SOTA를 모두 초월하였으며, NER F1 점수가 인간 전문가 성능(76.18%)을 뛰어넘었다.
• NLI 작업에서 모델은 ACA(Acute Cerebrovascular Accident)와 같은 의료 약어를 정확히 식별하여 임상 용어 이해 능력 향상을 입증하였다.
• 정성적 분석 결과, RuBioRoBERTa가 질병 이름(예: 폐렴 등)을 더 잘 인식하고, 입력 텍스트에 명시되지 않은 증상에 대해서도 더 관련성이 높은 추천을 제공하는 것으로 확인되었다.