[논문 리뷰] Clinical Named Entity Recognition using Contextualized Token Representations

Yichao Zhou, Chelsea J.‐T. Ju외 7명|arXiv (Cornell University)|2021. 06. 23.

Topic Modeling참고 문헌 36인용 수 8

한 줄 요약

이 논문은 PubMed Central의 임상 사례 보고서에서 사전 훈련한 임상 분야에 특화된 문맥 기반 단어 임베딩인 C-ELMo와 C-Flair를 제안하여 임상 명명된 실체 인식(CNER)을 향상시킨다. 깊이 있는 양방향 언어 모델을 임상 코퍼스에 적용함으로써, 정적 임베딩 대비 최대 10.31% 향상된 F1 스코어를 달성하여 도메인 특화 사전 훈련이 세밀한 임상 실체 인식 작업의 성능을 향상시킨다는 것을 입증한다.

ABSTRACT

The clinical named entity recognition (CNER) task seeks to locate and classify clinical terminologies into predefined categories, such as diagnostic procedure, disease disorder, severity, medication, medication dosage, and sign symptom. CNER facilitates the study of side-effect on medications including identification of novel phenomena and human-focused information extraction. Existing approaches in extracting the entities of interests focus on using static word embeddings to represent each word. However, one word can have different interpretations that depend on the context of the sentences. Evidently, static word embeddings are insufficient to integrate the diverse interpretation of a word. To overcome this challenge, the technique of contextualized word embedding has been introduced to better capture the semantic meaning of each word based on its context. Two of these language models, ELMo and Flair, have been widely used in the field of Natural Language Processing to generate the contextualized word embeddings on domain-generic documents. However, these embeddings are usually too general to capture the proximity among vocabularies of specific domains. To facilitate various downstream applications using clinical case reports (CCRs), we pre-train two deep contextualized language models, Clinical Embeddings from Language Model (C-ELMo) and Clinical Contextual String Embeddings (C-Flair) using the clinical-related corpus from the PubMed Central. Explicit experiments show that our models gain dramatic improvements compared to both static word embeddings and domain-generic language models.

연구 동기 및 목표

• 정적 단어 임베딩이 임상 용어의 문맥 의존적 의미를 포착하는 데에 한계가 있음을 해결하기 위해.
• 도메인 특화 임상 텍스트에서 사전 훈련된 문맥 기반 임베딩을 통해 임상 명명된 실체 인식(CNER) 성능을 향상시키기 위해.
• 임상 NLP 작업에서 일반적인 사전 훈련보다 도메인 특화 사전 훈련이 더 우수한 성능을 내는지 평가하기 위해.
• 임상 실체 인식에서 단어 수준(C-ELMo)과 문자 수준(C-Flair)의 문맥 기반 임베딩의 효과성을 비교하기 위해.
• 공개적으로 이용 가능한, 임상 사례 보고서 분석에 특화된 고성능 문맥 기반 임베딩을 제공하기 위해.

제안 방법

• PubMed Central의 대규모 임상 코퍼스를 사용하여 C-ELMo와 C-Flair라는 두 가지 깊이 있는 문맥 기반 언어 모델을 사전 훈련한다.
• C-ELMo는 양방향 언어 모델(biLM)을 사용하여 서브워드 및 단어 수준 표현에서 단어 수준의 문맥 기반 임베딩을 생성한다.
• C-Flair는 문자 수준의 양방향 LSTM을 활용하여 문맥 기반 단어 임베딩을 생성하며, 희귀어 또는 OOV(표준 외어) 항목에 대한 강력한 대처 능력을 제공한다.
• 다양한 데이터셋에서 임상 실체 인식을 위해 순서 레이블링 프레임워크(CRF 등)에서 문맥 기반 임베딩을 미세 조정한다.
• GloVe 임베딩과의 연결(concatenation)을 통해 표현의 풍부함을 향상시킨다.
• MACCROBAT2018, i2b2-2010, NCBI-disease 세 가지 벤치마크 CNER 데이터셋에서 표준 평가 지표(정밀도, 재현율, F1)를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 일반적인 도메인 사전 훈련 대비 도메인 특화 임상 코퍼스에서 사전 훈련한 문맥 기반 임베딩이 CNER 성능 향상에 기여하는가?
• RQ2 단어 수준(C-ELMo)과 문자 수준(C-Flair)의 문맥 기반 임베딩은 다양한 임상 실체 유형 인식에서 어떻게 비교되는가?
• RQ3 문맥 기반 임베딩이 정적 단어 임베딩(GloVe 등)보다 임상 실체 인식 작업에서 얼마나 뛰어난가?
• RQ4 고품질의 도메인 특화 문맥 기반 임베딩과 결합된 경량의 최종 모델이 최첨단 성능을 달성할 수 있는가?
• RQ5 어떤 실체 유형(예: 복용량, 중증도)은 C-ELMo와 C-Flair 간에 성능 차이를 보이는가?

주요 결과

• C-ELMo와 C-Flair는 각각 MACCROBAT2018, i2b2-2010, NCBI-disease 데이터셋에서 정적 GloVe 임베딩 대비 F1 스코어를 10.31%, 7.50%, 6.94% 향상시켰다.
• GloVe와 C-ELMo의 조합은 MACCROBAT2018과 NCBI-disease에서 가장 높은 F1 스코어를 기록했고, GloVe + C-Flair 조합은 i2b2-2010에서 최고 성능을 보였다.
• 도메인 특화 임상 코퍼스에서의 사전 훈련은 일반 도메인 언어 모델을 사용하는 것보다 더 높은 성능을 내었으며, 임베딩 학습에서 도메인 특화 지식의 가치를 확인했다.
• C-Flair는 '복용량' 실체 유형에서 뛰어난 성능을 보였는데, 이는 '60 mg/m2'와 같은 수치 및 기호 형식을 문자 수준에서 모델링함으로써 가능했다.
• C-ELMo는 '중증도' 및 '세부 설명' 유형에서 C-Flair를 능가했으며, 이는 복잡한 수식어의 단어 수준 의미적 맥락을 더 잘 포착했기 때문이다.
• NCBI-disease에서 강력한 성능을 보였음에도 불구하고 BioBERT는 MACCROBAT2018 및 i2b2-2010에서 제안된 모델을 능가하지 못했으며, 이는 자원 효율적이고 도메인 특화된 모델이 대규모 일반 목적 모델보다 더 효과적일 수 있음을 시사한다.