[논문 리뷰] Comprehensive Study on German Language Models for Clinical and Biomedical Text Understanding

Ahmad Idrissi-Yaghir, Amin Dada외 18명|arXiv (Cornell University)|2024. 04. 08.

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 24억 개의 번역된 영문 의료 텍스트와 30억 개의 독일어 임상 데이터를 기반으로 연속적인 사전 훈련을 통해 미세조정된 독일어 생물의학 및 임상 언어 모델을 소개하고 평가한다. 결과적으로 번역 기반 모델가 임상 데이터에서부터 훈련된 모델의 성능을 맞추거나 뛰어넘는 것으로 나타났으며, 번역을 통한 도메인 적응과 임상 데이터 사전 훈련이 독일어 의료 NLP 작업의 성능을 크게 향상시킨다는 점을 입증한다.

ABSTRACT

Recent advances in natural language processing (NLP) can be largely attributed to the advent of pre-trained language models such as BERT and RoBERTa. While these models demonstrate remarkable performance on general datasets, they can struggle in specialized domains such as medicine, where unique domain-specific terminologies, domain-specific abbreviations, and varying document structures are common. This paper explores strategies for adapting these models to domain-specific requirements, primarily through continuous pre-training on domain-specific data. We pre-trained several German medical language models on 2.4B tokens derived from translated public English medical data and 3B tokens of German clinical data. The resulting models were evaluated on various German downstream tasks, including named entity recognition (NER), multi-label classification, and extractive question answering. Our results suggest that models augmented by clinical and translation-based pre-training typically outperform general domain models in medical contexts. We conclude that continuous pre-training has demonstrated the ability to match or even exceed the performance of clinical models trained from scratch. Furthermore, pre-training on clinical data or leveraging translated texts have proven to be reliable methods for domain adaptation in medical NLP tasks.

연구 동기 및 목표

• 고품질의 독일어 의료 NLP 자원 부족 문제를 해결하기 위해 도메인 특화 언어 모델을 개발한다.
• 번역된 또는 임상 독일어 데이터를 기반으로 한 연속적인 사전 훈련이 최종적인 의료 NLP 작업 성능에 미치는 영향을 조사한다.
• 번역 기반 사전 훈련과 비공개 임상 데이터를 사용한 사전 훈련의 효과성을 비교한다.
• 신규 개발된 독일어 언어 모델의 성능을 여러 임상 및 생물의학 NLP 작업에 대해 평가한다.
• 모델 성능, 데이터 기밀성, 접근 가능성 간의 상호 상충 관계를 평가한다.

제안 방법

• 24억 토큰의 영문 PubMed 초록 번역본을 기반으로 독일어 BERT 기반 모델들을 연속적으로 사전 훈련한다.
• 대규모 독일 병원의 익명화되고 신원이 삭제된 독일어 임상 노트 30억 토큰을 기반으로 추가 모델들을 연속적으로 사전 훈련한다.
• 결과로 도출된 모델들을 Named Entity Recognition (NER), 다중 레이블 분류, 추출형 질의 응답, 그리고 두 가지 임상 기준 테스트 과제(RadQA 및 MedNLI)의 다섯 가지 최종 작업에 대해 미세조정한다.
• 일반 도메인(예: GBERT), 생물의학, 임상 독일어 모델과 비교하여 번역 기반 및 임상 데이터 기반 모델의 성능을 평가한다.
• 모든 작업에서 표준 NLP 평가 지표(F1 점수, 정확도, 정확한 일치율)를 사용한다.
• 모델 기밀성을 확보하기 위해 비공개 임상 데이터 기반 모델은 공개하지 않으며, 번역 기반 모델만 공개한다.

실험 결과

연구 질문

• RQ1 번역된 생물의학 텍스트를 기반으로 한 연속적인 사전 훈련이 일반 독일어 언어 모델을 임상 도메인에 효과적으로 적응시키는가?
• RQ2 번역 데이터 기반 사전 훈련 모델의 성능가 비공개 임상 데이터 기반 사전 훈련 모델의 성능와 비교해 볼 때 어떤가?
• RQ3 어느 정도의 번역 기반 사전 훈련이 민감한 임상 데이터 의존도를 줄이면서도 높은 성능을 유지할 수 있는가?
• RQ4 어느 종류의 최종 작업에서 임상 특화 사전 훈련이 번역 기반 사전 훈련보다 측정 가능한 성능 우위를 제공하는가?
• RQ5 공개된 번역 데이터 기반 모델이 대규모 비공개 임상 데이터셋 기반 모델과 비교해 유사한 성능을 달성할 수 있는가?

주요 결과

• 600만 개의 번역된 PubMed 초록 기반으로 사전 훈련된 번역 기반 모델가 대부분의 최종 작업에서 대규모 임상 모델과 유사한 성능을 보였다.
• RadQA와 같은 임상 특화 과제에서는 비공개 임상 데이터 기반 모델이 번역 기반 모델를 앞서는 성능을 보였으며, 도메인 특화 데이터의 가치를 입증했다.
• 평가한 다섯 가지 최종 작업에서 임상 데이터 기반 사전 훈련 모델는 일반 도메인 독일어 모델인 GBERT보다 일관되게 뛰어난 성능을 보였으며, 특히 복잡한 임상 추론 과제에서 두드러졌다.
• 추출형 질의 응답과 NER 과제에서 번역 기반 모델와 임상 데이터 기반 모델 간의 성능 격차가 가장 작았으며, 이는 번역 데이터가 의료 전문 용어를 효과적으로 포괄하고 있음을 시사한다.
• 단지 600만 개의 번역 초록만을 사용했음에도 불구하고 번역 기반 모델가 여러 과제에서 처음부터 훈련된 모델의 성능을 맞추거나 뛰어넘는 것으로 나타나, 전이 학습의 효율성을 입증했다.
• 본 연구는 임상 데이터 또는 고품질 번역 생물의학 텍스트를 기반으로 한 연속적인 사전 훈련이 독일어 의료 NLP에서 도메인 적응을 위한 신뢰할 수 있고 효과적인 전략임을 확인한다.