[논문 리뷰] GERNERMED++: Transfer Learning in German Medical NLP

Johann Frei, Ludwig Frei‐Stuber외 1명|arXiv (Cornell University)|2022. 06. 29.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 전이 학습을 활용한 사전 훈련된 독일어 BERT 모델(GottBERT 및 GermanBERT)과 신경 기계적 번역(NMT)을 통해 공개된 영어 의료 데이터셋에서 독일어 텍스트를 생성하고, 단어 정렬 기법을 사용해 영어 애너테이션을 독일어로 투영함으로써, 독일어 의료 NLP 자원으로서의 명명된 실체 인식(NER)에 적합한 강력하고 공개된 독일어 모델인 GERNERMED++을 소개한다. 이 모델은 독일어로 수동으로 애너테이션된 자료나 기업 내부 자료를 사용하지 않고도, 여러 외부 데이터셋에서 기존의 오픈소스 모델들인 GERNERMED와 GGPONC보다 뛰어난 성능을 보이며, 특허나 비공개 자료를 사용하지 않고도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a statistical model for German medical natural language processing trained for named entity recognition (NER) as an open, publicly available model. The work serves as a refined successor to our first GERNERMED model which is substantially outperformed by our work. We demonstrate the effectiveness of combining multiple techniques in order to achieve strong results in entity recognition performance by the means of transfer-learning on pretrained deep language models (LM), word-alignment and neural machine translation. Due to the sparse situation on open, public medical entity recognition models for German texts, this work offers benefits to the German research community on medical NLP as a baseline model. Since our model is based on public English data, its weights are provided without legal restrictions on usage and distribution. The sample code and the statistical model is available at: https://github.com/frankkramer-lab/GERNERMED-pp

연구 동기 및 목표

• 명명된 실체 인식(NER)을 위한 공개 가능하고 고도로 품질이 높은 독일어 의료 NLP 자원의 부족 문제를 해결하기 위해.
• 공개된 영어 의료 데이터셋을 활용해 독일어 의료 텍스트의 애너테이션 수가 부족한 문제를 해결하기 위해.
• 법적 및 개인정보 보호 규정을 준수하기 위해 기업 내부 자료나 수동 애너테이션 자료를 사용하지 않고도, 공개 가능한 비공개 자료만을 활용해 강력한 전이 학습 기반의 독일어 의료 텍스트 NER 모델을 개발하기 위해.
• 외부 데이터셋 및 분포 외 데이터셋에서 기존의 오픈소스 독일어 의료 NER 모델들인 GERNERMED와 GGPONC보다 뛰어난 성능을 내기 위해.
• 연구 커뮤니티에서 자유롭게 사용할 수 있도록 재현 가능한 오픈소스 기반 모델을 제공하기 위해.

제안 방법

• 주로 의료 실체 애너테이션을 위한 자료로 2018년 n2c2 공동 과제 데이터셋의 영어 데이터를 사용하였다.
• 신경 기계적 번역(NMT)을 적용해 영어 의료 텍스트를 독일어로 번역하여 합성된 독일어 의료 코퍼스를 생성하였다.
• 영어 원본의 토큰 수준 애너테이션을 수동 레이블링 없이도 해당 독일어 번역문과 대응시키는 단어 정렬 기법을 활용하였다.
• NMT로 생성된 애너테이션 투영된 독일어 데이터셋에 대해 사전 훈련된 독일어 BERT 모델(GottBERT 및 GermanBERT)을 미세조정하여 최종 NER 작업을 위한 모델을 학습시켰다.
• 동일한 데이터 파이프라인을 사용하여 비교를 위한 기준 모델로 경량의 SpaCy 기반 모델을 훈련시켰다.
• 테스트 세트, 분포 외(OoD) 데이터, 여러 공개 외부 데이터셋에서의 성능 평가를 통해 모델의 강건성과 전이 가능성(transferability)을 평가하였다.

실험 결과

연구 질문

• RQ1 공개된 비공개 영어 의료 데이터셋과 번역 기법만을 사용해 독일어 의료 NER 모델을 효과적으로 훈련시킬 수 있는가?
• RQ2 NMT와 애너테이션 투영을 통해 생성된 합성 독일어 데이터셋에 대해 사전 훈련된 독일어 BERT 모델을 전이 학습함으로써 NER 성능이 어떻게 향상되는가?
• RQ3 GERNMED++ 모델이 분포 외 및 외부 데이터셋에서 기존의 오픈소스 독일어 의료 NER 모델들인 GERNERMED와 GGPONC보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 전이 학습과 합성 데이터의 사용이 수동으로 애너테이션된 독일어 의료 코퍼스의 부족을 보완하면서도 모델의 강건성을 유지하는 데 기여하는가?
• RQ5 내부 또는 비공개 의료 데이터에 접근하지 않고도 경쟁력 있는 성능을 내며 연구 커뮤니티와 법적으로 공유 가능한 모델을 개발할 수 있는가?

주요 결과

• GottBERT 인코더를 사용한 GERNERMED++ 모델은 Medline 데이터셋에서 F1 스코어 0.772를 기록했으며, 기준 모델인 GERNERMED(F1: 0.300)와 GGPONC 기준 모델(F1: 0.628)보다 뚜렷이 뛰어났다.
• BRONCO 데이터셋에서 GottBERT 기반 모델은 F1 스코어 0.739를 기록했으며, GGPONC 모델(F1: 0.384)과 GermanBERT 기반 모델(F1: 0.680)을 모두 앞섰다.
• n2c2 데이터셋에서 GottBERT 기반의 GERNERMED++ 모델은 F1 스코어 0.766을 기록했으며, GGPONC 모델(F1: 0.628)과 원본 GERNERMED 모델(F1: 0.300)보다 뛰어났다.
• 분포 외(OoD) 데이터셋에서도 강력한 일반화 성능을 보이며, 사전 훈련된 언어 모델에서의 효과적인 전이 학습을 확인할 수 있었다.
• 여러 데이터셋에서 일관된 성능 향상이 관찰되어, NMT, 애너테이션 투영, 전이 학습의 조합이 강력하고 재현 가능한 결과를 낳는다는 점을 입증했다.
• 수동으로 총정리된 독일어 데이터셋으로 훈련된 모델들과 비교해도 성능이 열등하지 않으며, 공개된 영어 데이터만을 사용하고 비공개 자료를 전혀 사용하지 않았음에도 불구하고 경쟁력 있는 성능을 달성했다.