[논문 리뷰] Clinical Concept Extraction with Contextual Word Embedding

Henghui Zhu, Ioannis Ch. Paschalidis외 1명|arXiv (Cornell University)|2018. 10. 24.

Topic Modeling참고 문헌 19인용 수 41

한 줄 요약

저자들은 임상 도메인 데이터에서 도메인 특화 ELMo 모델을 학습시키고 임상 개념 추출에 BiLSTM-CRF를 사용하여 2010 i2b2/VA 데이터셋에서 F1 점수 최첨단을 달성합니다.

ABSTRACT

Automatic extraction of clinical concepts is an essential step for turning the unstructured data within a clinical note into structured and actionable information. In this work, we propose a clinical concept extraction model for automatic annotation of clinical problems, treatments, and tests in clinical notes utilizing domain-specific contextual word embedding. A contextual word embedding model is first trained on a corpus with a mixture of clinical reports and relevant Wikipedia pages in the clinical domain. Next, a bidirectional LSTM-CRF model is trained for clinical concept extraction using the contextual word embedding model. We tested our proposed model on the I2B2 2010 challenge dataset. Our proposed model achieved the best performance among reported baseline models and outperformed the state-of-the-art models by 3.4% in terms of F1-score.

연구 동기 및 목표

• 비정형 임상 메모에서 임상 개념(문제, 치료, 검사)의 자동 추출을 동기 부여한다.
• 임상 도메인 코퍼스에서 학습된 컨텍스트 단어 임베딩을 활용하여 라벨링 데이터의 부족 문제를 해결한다.
• 임상 텍스트의 명명 엔터티 인식(NER)을 위해 도메인 특화 ELMo 임베딩과 BiLSTM-CRF를 결합한 모델을 제안한다.
• 2010 i2b2/VA 데이터셋에서 성능 향상을 주도하는 기여를 보여준다.

제안 방법

• 혼합 임상 말뭉치(임상 보고서와 SNOMED CT 관련 위키피디아 페이지, MIMIC-III 퇴원 요약 및 방사선 보고서)로 도메인 특화 ELMo 모델을 학습시킨다.
• 자수-CNN 단어 임베딩 층과 ELMo 내의 두 개의 bi-LSTM 층을 사용하여 맥락화된 토큰 표현을 생성한다.
• BIO 태깅을 이용한 임상 개념 추출을 위해 ELMo 표현을 두-layer Bidirectional LSTM-CRF와 통합한다.
• NER 학습 동안 ELMo 파라미터를 고정하고, ELMo 기반 특징의 집계 가중치와 스케일링 파라미터를 학습한다.
• Adam, 드롭아웃, 그리고 ELMo 훈련 10 에폭에 이어 NER 모델은 200 에폭으로 훈련한다.

실험 결과

연구 질문

• RQ1 도메인 특화 컨텍스트 단어 임베딩이 일반 도메인 임베딩보다 임상 개념 추출 성능을 개선하는가?
• RQ2 임상 도메인 데이터로 학습된 ELMo 모델과 일반 도메인 말뭉치로 학습된 ELMo 모델이 i2b2/VA 개념 추출에 미치는 영향은 무엇인가?
• RQ3 제안된 ELMo+BiLSTM-CRF 모델은 2010 i2b2/VA 데이터셋에서 최첨단 기준선과 비교하여 어떤 성능 차이를 보이는가?

주요 결과

Method	Precision	Recall	F1
Distributional semantics CRF [ 3 ] *	85.60	82.00	83.70
Hidden semi-Markov model [ 2 ] *	86.88	83.64	85.23
Truecasing CRFSuite [ 4 ]	80.83	71.47	75.86
CliNER [ 5 ]	79.5	81.2	80.0
Binarized neural embedding CRF [ 23 ]	85.10	80.60	82.80
Glove-BiLSTM-CRF [ 6 ]	84.36	83.41	83.88
CliNER 2.0 [ 7 ]	84.0	83.6	83.8
Att-BiLSTM-CRF + Transfer [ 8 ]	86.27	85.15	85.71
ELMo(General) + BiLSTM-CRF (Single) **	83.26±0.25	81.84±0.22	82.54±0.14
ELMo(Clinical) + BiLSTM-CRF (Single) **	87.44±0.27	86.25±0.26	86.84±0.16
ELMo(Clinical) + BiLSTM-CRF (Ensemble)	89.34	87.87	88.60

• 도메인 특화 ELMo(임상) + BiLSTM-CRF가 일반 도메인 ELMo를 포함한 대안들보다 i2b2/VA에서 F1에서 우수하다.
• Ensemble ELMo(Clinical) + BiLSTM-CRF는 F1 88.60, 精확도 89.34, 재현율 87.87를 달성했다.
• 최고 성능 모델(ELMo Clinical + BiLSTM-CRF Ensemble)은 이전 최첨단을 F1 기준으로 3.4% 포인트 상회한다.
• 도메인 특화 언어 모델을 학습하는 것이 임상 NER 작업에서 높은 성능을 달성하는 데 필수적이다.
• 모델은 문제, 치료 및 검사의 세 엔터티 유형에서 일관되게 작동한다.