[논문 리뷰] Few-shot Learning for Named Entity Recognition in Medical Text

Maximilian Hofer, Andrey Kormilitzin외 2명|arXiv (Cornell University)|2018. 11. 13.

Topic Modeling참고 문헌 17인용 수 55

한 줄 요약

본 논문은 의학 텍스트에서 few-shot NER에 대해 단 10개의 주석 예시만으로 다섯 가지 개선을 평가하여 F1을 69.3%에서 78.87%로 상승시킨다.

ABSTRACT

Deep neural network models have recently achieved state-of-the-art performance gains in a variety of natural language processing (NLP) tasks (Young, Hazarika, Poria, & Cambria, 2017). However, these gains rely on the availability of large amounts of annotated examples, without which state-of-the-art performance is rarely achievable. This is especially inconvenient for the many NLP fields where annotated examples are scarce, such as medical text. To improve NLP models in this situation, we evaluate five improvements on named entity recognition (NER) tasks when only ten annotated examples are available: (1) layer-wise initialization with pre-trained weights, (2) hyperparameter tuning, (3) combining pre-training data, (4) custom word embeddings, and (5) optimizing out-of-vocabulary (OOV) words. Experimental results show that the F1 score of 69.3% achievable by state-of-the-art models can be improved to 78.87%.

연구 동기 및 목표

• 주석 데이터가 희소한 의학 텍스트에서 주석 축소(NER)를 촉진한다.
• few-shot 조건(ten examples)에서 NER 성능을 향상시키는 다섯 가지 전략을 평가한다.
• 이 전략들이 표준 NER 지표에 미치는 영향을 정량화한다.
• 제한된 주석으로 의학 NER 시스템을 구축하기 위한 실용적인 가이드를 제공한다.

제안 방법

• 지식을 전이하기 위한 사전 학습 가중치를 이용한 계층별 초기화.
• few-shot 설정에서 모델 성능을 최적화하기 위한 하이퍼파라미터 튜닝.
• 표현 능력 강화를 위해 여러 소스의 사전 학습 데이터를 결합한다.
• 의학 어휘에 맞춘 맞춤형 워드 임베딩 설계 또는 채용.
• 어휘 미등록(OOV) 단어의 처리를 최적화하여 희소성을 감소시킨다.

실험 결과

연구 질문

• RQ1 단 10개의 라벨링된 예시만으로 의학 텍스트에서 few-shot 학습이 NER 성능을 어떻게 향상시킬 수 있는가?
• RQ2 계층별 사전 학습, 하이퍼파라미터 튜닝, 데이터 혼합, 맞춤형 임베딩, 및 OOV 최적화가 NER 정확도에 끼치는 영향은 무엇인가?
• RQ3 이 전략들이 결합되어 이 영역의 최첨단 baselines를 넘어서는 F1 점수를 달성할 수 있는가?

주요 결과

• 다섯 가지 제안된 개선이 ten-shot 조건에서 기준선 69.3%에서 78.87%로 주목할 만한 F1 점수 증가를 이끈다.
• 계층별 초기화, 조정된 하이퍼파라미터, 데이터 조합, 맞춤형 임베딩, 그리고 OOV 최적화 각각이 성능 향상에 기여한다.
• 결합된 접근 방식은 매우 제한된 주석 의학 데이터로도 강한 NER 성능의 실현 가능성을 보여준다.