[论文解读] Example-Based Named Entity Recognition

Morteza Ziyadi, Yuting Sun+3 more|arXiv (Cornell University)|Aug 24, 2020

Topic Modeling参考文献 25被引用 29

一句话总结

本文提出了一种无需训练、基于样本的命名实体识别（NER）方法，受问答启发，仅需少量支持样本即可实现对新实体类型的零样本适应。在仅使用每类10个支持样本的情况下，该方法在ATIS和MIT Movie等域外数据集上实现了超过30%的F1分数绝对提升，优于先前的最先进方法，在低样本设置下表现更优。

ABSTRACT

We present a novel approach to named entity recognition (NER) in the presence of scarce data that we call example-based NER. Our train-free few-shot learning approach takes inspiration from question-answering to identify entity spans in a new and unseen domain. In comparison with the current state-of-the-art, the proposed method performs significantly better, especially when using a low number of support examples.

研究动机与目标

• 解决在无需微调的情况下，于低资源、域外设置中识别新型未见命名实体的挑战。
• 使非专家用户能够仅用极少数据且无需模型重训练，快速将NER模型适配至自定义业务实体。
• 开发一种领域无关、实体无关的NER系统，通过少量样本支持实现对多样化和未见领域的泛化。
• 克服现有少样本NER方法依赖层次结构、领域特定分布或大规模支持集的局限性。
• 系统性地评估从相似和不相似领域迁移知识的效果，特别是在极端低样本条件下的表现。

提出的方法

• 将无需训练的少样本NER建模为实体无关的跨度抽取任务，将问题视为基于支持样本识别相关跨度。
• 采用新颖的句子级注意力机制，为每个查询输入动态选择最相关的支持样本。
• 使用基于自注意力的标记级相似度策略，计算查询标记与支持样本标记之间的相关性。
• 在大规模开放领域NER数据集（如OntoNotes 5.0）上进行训练，以学习可泛化的表示，而无需记忆特定实体类型。
• 应用零样本推理机制，模型仅使用少量标注样本作为上下文，直接预测新领域中的跨度。
• 利用注意力机制建模支持样本与查询序列之间的相关性，实现少样本泛化。

实验结果

研究问题

• RQ1 当每类仅提供10个支持样本时，无需训练、基于样本的NER模型是否能优于现有少样本方法？
• RQ2 该模型在训练期间未见过的域外实体上泛化能力如何，特别是在目标领域与源分布相距较远时？
• RQ3 在仅使用少量支持样本的情况下，能否从相似领域（如SNIPS领域）成功将知识迁移至保留的目标领域？
• RQ4 与邻居标记等简单基线方法相比，所提出的基于注意力的样本选择机制在F1分数和低样本设置下的鲁棒性如何？
• RQ5 不同的训练和评分策略对无需训练少样本NER性能有何影响？

主要发现

• 在ATIS数据集上，该方法使用每类10个支持样本即达到31.3%的F1分数，相比基线邻居标记方法实现30%以上的绝对提升。
• 在MIT Movie数据集上，模型在每类10个支持样本下达到29.6%的F1分数，而基线仅为4.8%，表明在不同领域中均表现出一致的性能提升。
• 在从相似领域（SNIPS）迁移知识时，该方法在GetWeather领域达到78%的F1分数（每类10个样本），而基线仅为30%。
• 在混合领域评估中，模型使用每类500个支持样本时仍保持27.3%的F1分数，显著优于基线方法。
• 消融实验确认，句子级注意力机制和基于自注意力的相似度评分对性能至关重要，尤其在低样本场景下。
• 该模型展现出强大的领域无关泛化能力，在无需微调的情况下，于多样化和域外数据集上均保持高性能。