[논문 리뷰] Extracting UMLS Concepts from Medical Text Using General and Domain-Specific Deep Learning Models

Kathleen Fraser, Isar Nejadgholi외 4명|arXiv (Cornell University)|2019. 10. 03.

Topic Modeling참고 문헌 31인용 수 15

한 줄 요약

이 논문은 일반적인(BERT-base) 및 도메인 특화된(BCI BERT 또는 bioBERT) 문맥 임베딩을 연결하여 의료 텍스트 내 UMLS 개념 인식을 향상시키는 새로운 BERT 기반 모델을 제안한다. 이 방법은 i2b2 2010 데이터셋에서 최고 성능(F1 = 0.90)을 달성하고, 더 도전적인 MedMentions 데이터셋에서는 F1 = 0.63으로 새로운 벤치마크를 설정하여, 실체 인식에 일반 지식과 임상 지식을 명시적으로 융합하는 데서 유의미한 이점이 있음을 보여준다.

ABSTRACT

Entity recognition is a critical first step to a number of clinical NLP applications, such as entity linking and relation extraction. We present the first attempt to apply state-of-the-art entity recognition approaches on a newly released dataset, MedMentions. This dataset contains over 4000 biomedical abstracts, annotated for UMLS semantic types. In comparison to existing datasets, MedMentions contains a far greater number of entity types, and thus represents a more challenging but realistic scenario in a real-world setting. We explore a number of relevant dimensions, including the use of contextual versus non-contextual word embeddings, general versus domain-specific unsupervised pre-training, and different deep learning architectures. We contrast our results against the well-known i2b2 2010 entity recognition dataset, and propose a new method to combine general and domain-specific information. While producing a state-of-the-art result for the i2b2 2010 task (F1 = 0.90), our results on MedMentions are significantly lower (F1 = 0.63), suggesting there is still plenty of opportunity for improvement on this new data.

연구 동기 및 목표

• 최근 발표된 MedMentions 데이터셋에서 UMLS 개념 인식을 위한 최신 딥 러닝 모델의 성능을 평가하기 위해.
• i2b2 2010과 같이 잘 연구된 데이터셋과 더 복잡하고 덜 탐색된 데이터셋인 MedMentions 간의 성능 격차를 규명하기 위해.
• 문맥 임베딩과 비문맥 임베딩, 일반적 사전 훈련과 도메인 특화 사전 훈련, 다양한 신경망 아키텍처의 영향을 조사하기 위해.
• 일반 지식과 임상 지식을 융합한 하이브리드 모델을 제안하고, 실체 인식 성능 향상을 평가하기 위해.

제안 방법

• MedMentions 및 i2b2 데이터셋에서 일반 BERT-base와 도메인 특화 BERT 모델(NCBI BERT 또는 bioBERT)을 미세조정한다.
• 각 토큰에 대해 일반적 BERT 모델과 도메인 특화 BERT 모델의 최종 히든 레이어 표현을 연결한다.
• 시퀀스 레이블링을 위해 연결된 임베딩을 선형 또는 bi-LSTM 분류기 레이어에 입력한다.
• 훈련 중에 일반 BERT 모델과 도메인 특화 BERT 모델, 분류기 레이어를 함께 미세조정한다.
• 모든 UMLS 의미 유형에 대해 주석이 달린 MedMentions 데이터셋을 사용하여 더 넓은 범위의 실체 유형에서의 성능을 평가한다.
• 다양한 임베딩 유형, 아키텍처, 데이터셋 간의 성능을 비교하여 성능 격차를 분석한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋에서 일반적 BERT 모델과 도메인 특화 BERT 모델의 UMLS 개념 인식 성능는 어떻게 비교되는가?
• RQ2 의료 텍스트에서 실체 인식에 있어 문맥 임베딩과 비문맥 임베딩을 사용할 경우 어떤 영향을 미치는가?
• RQ3 모델 연결을 통해 일반 지식과 도메인 지식을 융합하면, 복잡하고 다중 유형의 실체 인식 작업에서 성능 향상이 이루어지는가?
• RQ4 비록 유사한 모델 아키텍처를 사용하고도 MedMentions에서 i2b2 2010에 비해 성능이 크게 떨어지는 이유는 무엇인가?
• RQ5 bi-LSTM 분류기가 MedMentions에서 더 높은 복잡성과 클래스 불균형을 고려할 때 선형 분류기보다 성능이 뛰어나게 되는가?

주요 결과

• 제안된 연결된 BERT 모델은 i2b2 2010 데이터셋에서 최고 성능(F1 = 0.90)을 기록하였으며, 이는 이전 최고 성능(F1 = 0.89)을 초월한다.
• MedMentions 데이터셋에서는 최고 성능을 기록한 모델의 F1 점수는 0.63으로, i2b2 2010에 비해 상당히 낮아, 이 데이터셋의 더 높은 난이도를 보여준다.
• 도메인 특화 사전 훈련(예: MedMentions에 대해 bioBERT 사용)을 적용할 경우 일반 사전 훈련만으로 하는 것보다 성능 향상이 뚜렷하다.
• 선형 분류기를 bi-LSTM 분류기로 교체하면 MedMentions-st21pv에서는 성능 향상이 발생하지만, MedMentions-full에서는 성능 저하가 발생하여, 데이터셋에 따라 최적의 아키텍처 선택이 다름을 시사한다.
• 다양한 데이터셋에서 일관되게 작은 성능 향상이 관찰됨에 따라, 일반 지식과 임상 지식을 명시적으로 융합하는 것이 향후 연구에 유망한 방향임을 시사한다.
• i2b2와 MedMentions 간의 성능 격차는 MedMentions에서 더 많은 실체 유형, 더 높은 클래스 모호성, 더 심한 클래스 불균형 때문임을 규명하였다.