[논문 리뷰] Few-Shot Named Entity Recognition: A Comprehensive Study

Jiaxin Huang, Chunyuan Li외 7명|arXiv (Cornell University)|2020. 12. 29.

Topic Modeling참고 문헌 67인용 수 51

한 줄 요약

본 논문은 프로토타입 기반 메타학습, 웹 데이터의 노이즈 포함 지도 사전학습, 그리고 자체 학습의 네 가지 전략을 Transformer 백본과 함께 체계적으로 연구하여 소수 샷 NER을 향상시키고, 10개 데이터셋에서 최첨단 성능을 보여주며 학습 없이도 가능한 옵션을 제공합니다.

ABSTRACT

This paper presents a comprehensive study to efficiently build named entity recognition (NER) systems when a small number of in-domain labeled data is available. Based upon recent Transformer-based self-supervised pre-trained language models (PLMs), we investigate three orthogonal schemes to improve the model generalization ability for few-shot settings: (1) meta-learning to construct prototypes for different entity types, (2) supervised pre-training on noisy web data to extract entity-related generic representations and (3) self-training to leverage unlabeled in-domain data. Different combinations of these schemes are also considered. We perform extensive empirical comparisons on 10 public NER datasets with various proportions of labeled data, suggesting useful insights for future research. Our experiments show that (i) in the few-shot learning setting, the proposed NER schemes significantly improve or outperform the commonly used baseline, a PLM-based linear classifier fine-tuned on domain labels; (ii) We create new state-of-the-art results on both few-shot and training-free settings compared with existing methods. We will release our code and pre-trained models for reproducible research.

연구 동기 및 목표

• 도메인 내 라벨이 매우 제한된 상황에서 효율적인 NER의 필요성을 제시한다.
• 프로토타입 기반 메타학습, 웹 데이터의 노이즈가 있는 지도 사전학습, 그리고 도메인 내 비라벨 데이터에 대한 자체 학습의 세 가지 직교 전략이 few-shot NER의 일반화를 개선하는지 조사한다.
• 다양한 NER 데이터셋에 걸친 이들 전략의 조합을 평가하여 향후 연구를 위한 실용적 지침을 도출한다.
• 각 전략이 언제 가장 큰 도움이 되는지와 서로 어떻게 보완하는지에 대한 통찰을 제공한다.

제안 방법

• 프로토타입 네트워크(프로토타입 기반 메타학습)를 이용해 엔티티 타입을 프로토타입으로 표현하고, 쿼리 토큰을 가장 가까운 프로토타입 거리로 분류한다.
• 대규모 웹 데이터(WiNER)에서 노이즈가 있는 지도 사전학습(NSP)을 통해 엔티티 관련 표현을 학습하며, 선형 분류기나 프로토타입 기반 목표 중 하나를 사용한다.
• 도메인 내 비라벨 데이터를 활용하기 위해 라벨링된 데이터를 사용해 교사를 학습시키고 비라벨 데이터에 대해 소프트 라벨을 생성하여 학생 모델을 학습시키는 자기 학습(ST).
• 라벨 가용성(5-shot, 10%, 100%)이 다른 10개 공개 NER 데이터셋에서 조합(LC, NSP, ST)의 체계적 평가.
• 소타(SoTA) 방법과의 비교 및 프로토타입 확장을 활용한 학습 없이도 가능한 unseen-type 추론 시나리오의 분석과의 비교를 포함.

실험 결과

연구 질문

• RQ1 프로토타입 기반 메타학습을 소수 샷 NER에 어떻게 적용할 수 있는가?
• RQ2 대규모 웹 데이터에서의 노이즈가 있는 지도 사전학습이 소수 샷 NER의 강건성과 정확성을 향상시키는가?
• RQ3 자체 학습이 도메인 내 비라벨 데이터를 효과적으로 활용하여 소수 샷 NER 성능을 향상시킬 수 있는가?
• RQ4 이 전략들의 조합이 다양한 데이터셋에서 표준 미세조정 기반과 어떻게 비교되는가?
• RQ5 보이지 않는 엔티티 타입에 대한 학습 없이 수행하는 NER에 대한 실용적 시사점은 무엇인가?

주요 결과

• 노이즈가 있는 지도 사전학습은 일관되게 NER 정확도를 향상시키며, 특히 5-shot 설정에서 그렇다.
• 프로토타입 기반 방법은 5-shot에서 여러 데이터셋에서 선형 분류기보다 우수하지만 데이터셋에 따라 다르며 다른 데이터셋에서 성능이 떨어질 수 있다.
• 자기 학습은 비라벨 데이터가 이용 가능할 때 모든 데이터셋에서 소샷 성능을 일관되게 향상시킨다.
• 세 가지 스킴(LC+NSP+ST)을 모두 결합하면 대부분의 경우 최상의 결과를 얻으며, 종종 SoTA 방법을 능가한다.
• 학습 없이도 가능한 시나리오에서, 보이지 않는 타입이 존재할 때 다중 프로토타입 확장이 근접 이웃 추론을 개선하는 데 도움이 된다.