[논문 리뷰] Few-NERD: A Few-Shot Named Entity Recognition Dataset

Ning Ding, Guangwei Xu외 6명|arXiv (Cornell University)|2021. 05. 16.

Topic Modeling참고 문헌 33인용 수 5

한 줄 요약

이 논문은 188,238개의 위키백과 문장에 걸쳐 8개의 굵은 종류와 66개의 세밀한 종류의 엔터티를 포함하는, 처음으로 대규모이자 인간이 수작업으로 작성한 소수의 예제를 위한 명명된 엔터티 인식 데이터셋인 FEW-NERD를 소개한다. 이는 세 가지 다른 작업—감독 학습, 유형 내 일반화, 유형 간 일반화—를 통해 소수의 예제 NER 모델을 평가할 수 있도록 한다. 결과적으로 현재의 모델들이 특히 소수의 예제 설정에서 세밀한 종류의 엔터티 인식에 여전히 어려움을 겪고 있음을 보여준다.

ABSTRACT

Recently, considerable literature has grown up around the theme of few-shot named entity recognition (NER), but little published benchmark data specifically focused on the practical and challenging task. Current approaches collect existing supervised NER datasets and re-organize them to the few-shot setting for empirical study. These strategies conventionally aim to recognize coarse-grained entity types with few examples, while in practice, most unseen entity types are fine-grained. In this paper, we present Few-NERD, a large-scale human-annotated few-shot NER dataset with a hierarchy of 8 coarse-grained and 66 fine-grained entity types. Few-NERD consists of 188,238 sentences from Wikipedia, 4,601,160 words are included and each is annotated as context or a part of a two-level entity type. To the best of our knowledge, this is the first few-shot NER dataset and the largest human-crafted NER dataset. We construct benchmark tasks with different emphases to comprehensively assess the generalization capability of models. Extensive empirical results and analysis show that Few-NERD is challenging and the problem requires further research. We make Few-NERD public at https://ningding97.github.io/fewnerd/.

연구 동기 및 목표

• 세밀한 종류의 엔터티를 포함하는 소수의 예제 명명된 엔터티 인식(NER)에 대한 표준화되고 대규모의 벤치마크가 부족한 문제를 해결하기 위해.
• 기존 데이터셋이 일반적으로 4~18개의 굵은 종류의 엔터티만 제공하고, 소수의 예제 평가에 재사용된다는 점에서 비롯된 한계를 극복하기 위해.
• 소수의 예제 NER에서 일반화 능력을 종합적으로 평가할 수 있도록 지원하는 통합된 벤치마크를 제공하기 위해, 예시 수준, 유형 수준, 지식 이관 일반화를 포함한다.
• 고품질의 공개 데이터셋을 제공하여 향후 소수의 예제 NER 연구 및 지속적인 지식 그래프 구축을 지원하기 위해.

제안 방법

• 188,238개의 위키백과 문장에서 구성된 데이터셋은 훈련된 애너테이터가 수작업으로 애너테이션을 수행하여, 총 460만 단어와 491,700개의 엔터티를 생성하였다.
• 정밀도와 일관성을 확보하기 위해 다수의 사전 애너테이션 라운드를 거쳐 8개의 굵은 종류와 66개의 세밀한 종류의 엔터티 유형을 포함하는 계층적 애너테이션 체계를 설계하였다.
• 세 가지의 벤치마크 작업을 정의하였다: 감독 학습을 위한 FEW-NERD (SUP), 유형 내 일반화를 위한 FEW-NERD (INTRA), 유형 간 일반화를 위한 FEW-NERD (INTER).
• 최신의 소수의 예제 NER 모델들—ProtoBERT, NNShot, StructShot—을 세 가지 작업에 대해 평가하여 다양한 소수의 예제 설정에서의 성능을 분석하였다.
• 다섯 번의 실험 런을 통해 토큰 수준 및 유형 수준의 오류 분해(예: FP, FN, Within, Outer)를 이용한 오류 분석을 수행하여 모델의 안정성과 실패 유형을 평가하였다.
• 이 데이터셋은 https://ningding97.github.io/fewnerd/ 에 공개되어 있으며, 모델 체크포인트까지 함께 제공되어 탄소 배출량을 줄이고 재현 가능성을 높이고자 하였다.

실험 결과

연구 질문

• RQ1 현재의 소수의 예제 NER 모델들은 낮은 샘플 수 설정에서 새로운, 세밀한 종류의 엔터티 유형으로 일반화하는 데 얼마나 잘 성과를 내는가?
• RQ2 소수의 예제 NER에서 다양한 굵은 종류의 엔터티 유형 간 지식을 얼마나 잘 이관할 수 있는가?
• RQ3 다양한 소수의 예제 학습 전략(예: 프로토타입 네트워크, 최근접 이웃, 구조적 디코딩)은 대규모의 세밀한 종류의 NER 벤치마크에서 어떻게 성능을 내는가?
• RQ4 현재의 소수의 예제 NER 모델들의 주요 실패 유형은 무엇인가, 특히 스판 검출과 유형 분류 측면에서 어떻게 나타나는가?
• RQ5 제안된 벤치마크 작업(SUP, INTRA, INTER)은 소수의 예제 NER 모델의 강점과 약점을 효과적으로 구분할 수 있는가?

주요 결과

• FEW-NERD는 66개의 세밀한 종류의 엔터티를 포함하는 첫 번째 대규모, 인간 수작업으로 작성된 소수의 예제 NER 데이터셋으로, 기존의 벤치마크 범위를 크게 확장하였다.
• 5-way 5–10 샘플 설정에서, ProtoBERT가 평가된 모델들 중에서 가장 뛰어난 성능을 보였으며, 특히 유형 분류에서 NNShot과 StructShot을 앞섰다.
• StructShot은 FEW-NERD (INTRA) 작업에서 정밀도가 향상되어, 지식 이관이 어려운 상황에서 Viterbi 디코딩이 잘못된 양성 결과를 줄이는 데 도움이 되는 것으로 나타났다.
• 오류 분석 결과, 토큰 수준의 검출은 상대적으로 안정적이었지만(낮은 FP 및 FN), 특히 굵은 종류의 범주 간 오류(Outer 오류)로 인한 유형 오분류 문제가 여전히 주요 과제로 남아 있었다.
• 최근접 이웃 메커니즘(NNShot 및 StructShot)은 불안정성을 보였고, 프로토타입 모델은 프로토타입 계산의 정규화 효과로 인해 더 높은 안정성을 보였다.
• 이 데이터셋은 예시 수준, 유형 수준, 지식 이관 차원에서의 일반화 평가를 효과적으로 가능하게 하여, 특히 세밀한 종류의 엔터티에 대해 소수의 예제 NER의 지속적인 어려움을 드러냈다.