[논문 리뷰] AWE-CM Vectors: Augmenting Word Embeddings with a Clinical Metathesaurus

Willie Boag, Hassan Kané|arXiv (Cornell University)|2017. 12. 05.

Topic Modeling참고 문헌 14인용 수 8

한 줄 요약

이 논문은 UMLS 메타테사우루스의 임상 개념 매핑을 단어 임베딩에 통합하여 임상 NLP에서의 성능을 햖थ기 위한 AWE-CM 벡터를 제안한다. word2vec의 컨텍스트를 인접한 단어를 초월해 CUI(임상 유니버설 식별자)를 포함하도록 확장함으로써, 임상 전문가 평가와의 상관관계가 크게 향상되며, 의사가 평가한 유사도 점수와 0.508까지의 스피어만 상관계수를 기록하여 표준 word2vec 및 비임상 사전학습 벡터를 능가한다.

ABSTRACT

In recent years, word embeddings have been surprisingly effective at capturing intuitive characteristics of the words they represent. These vectors achieve the best results when training corpora are extremely large, sometimes billions of words. Clinical natural language processing datasets, however, tend to be much smaller. Even the largest publicly-available dataset of medical notes is three orders of magnitude smaller than the dataset of the oft-used "Google News" word vectors. In order to make up for limited training data sizes, we encode expert domain knowledge into our embeddings. Building on a previous extension of word2vec, we show that generalizing the notion of a word's "context" to include arbitrary features creates an avenue for encoding domain knowledge into word embeddings. We show that the word vectors produced by this method outperform their text-only counterparts across the board in correlation with clinical experts.

연구 동기 및 목표

• 작은 훈련 코퍼스로 인해 표준 단어 임베딩의 성능이 제한되는 문제를 해결하기 위해.
• UMLS 메타테사우루스의 전문가 검증된 의료 지식을 통합하여 임상 환경에서의 단어 벡터 품질을 향상시키기 위해.
• word2vec을 CUI 기반 컨텍스트로 확장함으로써 임상 전문가와의 의미 유사도 상관계수를 향상시킬 수 있는지 입증하기 위해.
• 임상 평가 벤치마크에서 텍스트 전용 및 비임상 사전학습 벡터를 능가하는 공개 가능한 도메인 강화된 단어 임베딩 모델을 제공하기 위해.

제안 방법

• UMLS 메타테사우루스의 CUI를 포함한 컨텍스트로 확장된 word2vec 프레임워크를 개선한다.
• UMLS MRCON 데이터베이스의 매핑을 사용하여 MIMIC-III 임상 노트의 각 단어에 대해 (단어, CUI) 쌍을 구성한다.
• WORD2VECF를 사용하여 표준 단어 공시현상 쌍과 (단어, CUI) 쌍을 모두 활용해 단어 벡터를 훈련한다. WORD2VECF는 임의의 컨텍스트 특성을 지원한다.
• 표준 전처리를 적용한다: 동적 컨텍스트 창(1~8 토큰), 희귀 단어의 서브샘플링, 훈련 이전의 희귀 단어 제거.
• 26.8억 개의 단어 기반 및 2.657억 개의 CUI 기반 (단어, 컨텍스트) 쌍을 포함한 병합 코퍼스를 사용해 AWE-CM 모델을 훈련한다.
• 전문가가 평가한 유사도 데이터셋을 사용하여 AWE-CM을 기준 모델(구글 뉴스 단어 벡터 및 MIMIC 전용 word2vec 벡터)과 비교한다.

실험 결과

연구 질문

• RQ1 UMLS CUI 매핑을 단어 임베딩 훈련에 통합하면 임상 전문가 평가와의 일치도가 향상되는가?
• RQ2 CUI 기반 컨텍스트의 포함 여부가 임상 텍스트에서 단어 벡터의 의미 품질에 어떤 영향을 미치는가?
• RQ3 AWE-CM 방법은 텍스트 전용 단어 임베딩 및 비임상 사전학습 벡터보다 임상 의미 유사도 작업에서 뛰어난 성능을 보이는가?
• RQ4 의료 온톨로지에서의 도메인 지식은 임상 NLP에서의 데이터 부족 문제를 어느 정도 완화하는가?

주요 결과

• AWE-CM 벡터는 MiniMayoSRS 데이터셋에서 의사가 평가한 유사도 판단과 0.508의 스피어만 상관계수를 기록하여 MIMIC 전용 word2vec 기준선(0.442)을 뛰어넘는다.
• 코더가 작성한 MiniMayoSRS 목록에서 AWE-CM는 0.514를 기록하여 MIMIC w2v 기준선(0.572)과 구글 뉴스 기준선(0.302)을 모두 초월한다.
• AWE-CM 모델은 모든 평가 세트에서 임상 전문가 평가와의 상관계수를 향상시켜, UMLS 메타테사우루스 지식 통합의 일관된 성과를 보여준다.
• 향상은 오직 (단어, CUI) 컨텍스트 쌍의 포함 덕분이며, AWE-CM와 MIMIC w2v 모델 모두 동일한 훈련 도구(WORD2VECF)와 코퍼스를 사용한다.
• CUI 쌍으로 인해 훈련 데이터 크기가 11%만 증가했음에도 불구하고 단어 벡터의 의미 품질이 크게 향상되어 CUI의 높은 정보 밀도를 시사한다.
• AWE-CM 벡터는 의사가 평가한 유사도에서 가장 뛰어난 성능을 보이며, 이는 사망 예측 및 진단과 같은 임상 후행 작업에 가장 관련이 있다.