[논문 리뷰] A Neural Topic-Attention Model for Medical Term Abbreviation Disambiguation

Irene Li, Michihiro Yasunaga외 5명|arXiv (Cornell University)|2019. 10. 30.

Biomedical Text Mining and Ontologies참고 문헌 26인용 수 25

한 줄 요약

이 논문은 임베딩과 주제 인식 주의를 사용하여 문맥적 문장 표현을 향상시켜 의료 용어 약어의 의미 해소를 개선하는 소수 샘플 신경망 주제-주의 모델을 제안한다. 임상 노트에서 사전 훈련된 Doc2Vec 모델을 통해 주제 정보를 통합함으로써, 수동으로 정제하고 균형을 맞춘 테스트 세트에서 기준 LSTM 모델 대비 14.86% 향상된 F1 스코어를 달성하여 희귀 의미에서 성능을 크게 향상시켰다.

ABSTRACT

Automated analysis of clinical notes is attracting increasing attention. However, there has not been much work on medical term abbreviation disambiguation. Such abbreviations are abundant, and highly ambiguous, in clinical documents. One of the main obstacles is the lack of large scale, balance labeled data sets. To address the issue, we propose a few-shot learning approach to take advantage of limited labeled data. Specifically, a neural topic-attention model is applied to learn improved contextualized sentence representations for medical term abbreviation disambiguation. Another vital issue is that the existing scarce annotations are noisy and missing. We re-examine and correct an existing dataset for training and collect a test set to evaluate the models fairly especially for rare senses. We train our model on the training set which contains 30 abbreviation terms as categories (on average, 479 samples and 3.24 classes in each term) selected from a public abbreviation disambiguation dataset, and then test on a manually-created balanced dataset (each class in each term has 15 samples). We show that enhancing the sentence representation with topic information improves the performance on small-scale unbalanced training datasets by a large margin, compared to a number of baseline models.

연구 동기 및 목표

• 임상 노트에서 저자원, 비균형, 노이즈가 많은 의료 약어 의미 해소 데이터셋의 과제를 해결하기 위해.
• 제한된 레이블 데이터로 소수 샘플 학습을 사용하여 희귀 약어 의미에 대해 의미 해소 성능을 향상시키기 위해.
• 기존 공개 데이터셋을 수정하고 재구성하여 공정한 평가를 위한 신뢰할 수 있고 균형 잡힌 훈련 및 테스트 세트를 만들기 위해.
• 저데이터 환경에서 모델 일반화 능력을 향상시키기 위해 문맥적 문장 표현에 주제 정보를 통합하기 위해.
• 이 작업에 대해 처음으로 전통적 및 딥 러닝 기반의 포괄적인 기준 모델들을 평가하고 비교하기 위해.

제안 방법

• 모델은 임상 문장에서 문맥 인식 단어 표현을 캡처하기 위해 ELMo 임베딩을 사용한다.
• 사전 훈련된 MIMIC-III 노트 기반 Doc2Vec 모델에서 유도된 주제 벡터를 고려하는 주제-주의 메커니즘이 도입된다.
• 주제 행렬은 LDA 주제에서 상위 단어에 컨볼루션 레이어를 적용한 후, 최대 풀링을 통해 고정된 크기의 주제 벡터로 생성된다.
• 문장 표현은 문맥 특징(ELMo에서 유도)과 주제 인식 특징(주제 벡터에 대한 주의를 통한)을 연결하여 형성된다.
• 분류를 위해 완전 연결 레이어와 소프트맥스를 사용하며, 교차 엔트로피 손실로 훈련된다.
• 모델은 엔드 투 엔드로 미세 조정되며, ELMo와 주제 표현 모두가 역전파 동안 업데이트된다.

실험 결과

연구 질문

• RQ1 문맥 임베딩에 주제 정보를 통합하면 저자원 환경에서 의료 약어 의미 해소 성능을 향상시킬 수 있는가?
• RQ2 제안된 주제-주의 모델은 LSTM 및 CNN과 같은 강력한 기준 모델 대비 희귀 약어 의미에서 F1 스코어와 정확도 측면에서 어떻게 비교되는가?
• RQ3 단일 단어 임베딩에 비해 사전 훈련된 ELMo가 의미 해소 성능 향상에 얼마나 기여하는가?
• RQ4 ELMo와 주제 인식 주의를 조합하면 개별 구성 요소보다 유의미한 성능 향상을 이끌 수 있는가?
• RQ5 정제되고 균형 잡힌 테스트 세트는 희귀 약어 의미에서 모델의 공정한 평가를 가능하게 하는가?

주요 결과

• 제안된 ELMo+Topic 모델은 매크로 F1 스코어 70.41%를 기록하여 기준 LSTM-self 모델(55.55%) 대비 14.86% 향상되었다.
• 모델은 정확도 74.76%를 달성하여 기준 모델 대비 12.27% 향상되었으며, 이는 소수 샘플 학습에서 강력한 성과 향상을 보여주었다.
• 주제-주의 모듈 자체만으로도 기준 모델 대비 F1 스코어 9.69% 향상되었으며, 이는 주제 정보의 가치를 입증했다.
• ELMo 단독 버전은 주제 단독 버전을 능가하여 매크로 F1 스코어 67.81%를 기록했으며, 이는 문맥 임베딩이 주제 특징보다 더 효과적임을 시사한다.
• ELMo+Topic 모델의 평균 AUC 스코어(0.8196)는 기준 모델(0.7189)보다 유의미하게 높았으며, 이는 모든 용어에 대해 더 나은 분류 성능을 보임을 확인했다.
• 희귀 의미에서의 모델 성능은 균형 잡힌 테스트 세트를 통해 검증되었으며, 각 용어당 클래스당 정확히 15개의 샘플이 포함되어 있었다.