[论文解读] Few-NERD: A Few-Shot Named Entity Recognition Dataset

Ning Ding, Guangwei Xu+6 more|arXiv (Cornell University)|May 16, 2021

Topic Modeling参考文献 33被引用 5

一句话总结

该论文提出了 FEW-NERD，这是首个大规模、人工标注的 few-shot 命名实体识别数据集，涵盖 188,238 个维基百科句子中的 8 种粗粒度和 66 种细粒度实体类型。该数据集通过三种不同的任务——监督学习、同类型泛化和跨类型泛化——实现了对 few-shot NER 模型的基准测试，表明当前模型在细粒度实体识别方面仍存在困难，尤其是在低样本设置下。

ABSTRACT

Recently, considerable literature has grown up around the theme of few-shot named entity recognition (NER), but little published benchmark data specifically focused on the practical and challenging task. Current approaches collect existing supervised NER datasets and re-organize them to the few-shot setting for empirical study. These strategies conventionally aim to recognize coarse-grained entity types with few examples, while in practice, most unseen entity types are fine-grained. In this paper, we present Few-NERD, a large-scale human-annotated few-shot NER dataset with a hierarchy of 8 coarse-grained and 66 fine-grained entity types. Few-NERD consists of 188,238 sentences from Wikipedia, 4,601,160 words are included and each is annotated as context or a part of a two-level entity type. To the best of our knowledge, this is the first few-shot NER dataset and the largest human-crafted NER dataset. We construct benchmark tasks with different emphases to comprehensively assess the generalization capability of models. Extensive empirical results and analysis show that Few-NERD is challenging and the problem requires further research. We make Few-NERD public at https://ningding97.github.io/fewnerd/.

研究动机与目标

• 为解决 few-shot 命名实体识别（NER）中缺乏标准化、大规模基准的问题，特别是针对细粒度实体类型。
• 克服现有数据集的局限性，这些数据集通常仅提供 4–18 种粗粒度类型，且被重新用于 few-shot 评估。
• 提供一个统一的基准，支持对 few-shot NER 中的泛化能力进行全面评估，包括实例级、类型级以及知识迁移泛化。
• 通过提供高质量、公开可用的数据集，促进 future few-shot NER 研究和持续知识图谱构建。

提出的方法

• 该数据集基于 188,238 个维基百科句子构建，由受过训练的标注员人工标注，共包含 460 万个词和 491,700 个实体。
• 通过多轮预标注，设计了包含 8 种粗粒度和 66 种细粒度实体类型的分层标注模式，以确保粒度和一致性。
• 定义了三个基准任务：FEW-NERD (SUP) 用于监督学习，FEW-NERD (INTRA) 用于同类型泛化，FEW-NERD (INTER) 用于跨类型泛化。
• 在三个任务上评估了当前最先进 few-shot NER 模型——ProtoBERT、NNShot 和 StructShot，以评估其在不同 few-shot 设置下的性能。
• 通过五轮实验的 token 级和类型级错误分解（如 FP、FN、Within、Outer）进行错误分析，以评估模型的稳定性与失败模式。
• 该数据集已公开发布于 https://ningding97.github.io/fewnerd/，并附带模型检查点，以减少碳足迹并支持可复现性。

实验结果

研究问题

• RQ1 当前 few-shot NER 模型在低样本设置下，对未见过的细粒度实体类型泛化能力如何？
• RQ2 在 few-shot NER 中，模型在不同粗粒度实体类型之间知识迁移的能力有多大？
• RQ3 不同 few-shot 学习策略（如原型网络、最近邻、结构化解码）在大规模、细粒度 NER 基准上的表现如何？
• RQ4 当前 few-shot NER 模型的主要失败模式是什么，特别是在跨度检测和类型分类方面？
• RQ5 所提出的基准任务（SUP、INTRA、INTER）能否有效区分 few-shot NER 模型的优势与劣势？

主要发现

• FEW-NERD 是首个大规模、人工标注的 few-shot NER 数据集，包含 66 种细粒度实体类型，显著扩展了现有基准的覆盖范围。
• 在 5 类 5–10 次采样设置下，ProtoBERT 在所评估模型中表现最佳，尤其在类型分类方面优于 NNShot 和 StructShot。
• StructShot 在 FEW-NERD (INTRA) 任务中表现出更高的精确率，表明 Viterbi 解码有助于在知识迁移困难时减少假阳性。
• 错误分析显示，token 级检测相对稳健（FP 和 FN 较低），但类型误分类——尤其是跨粗粒度类别（Outer 错误）——仍是主要挑战。
• 最近邻机制（NNShot 和 StructShot）表现出不稳定性，而原型模型由于原型计算的正则化效应，展现出更高的稳定性。
• 该数据集能够有效评估在实例、类型和知识迁移维度上的泛化能力，凸显了 few-shot NER 的持续挑战，尤其是对细粒度实体而言。