[论文解读] Few-shot Named Entity Recognition with Entity-level Prototypical Network Enhanced by Dispersedly Distributed Prototypes

Bin Ji, Shasha Li+4 more|arXiv (Cornell University)|Aug 17, 2022

Topic Modeling被引用 16

一句话总结

该论文提出EP-Net，一种少样本命名实体识别模型，该模型使用实体级原型而非标记级原型，以消除对标签依赖的依赖。通过从零开始训练原型，并采用基于距离的损失函数以确保原型在嵌入空间中分布分散，同时利用空间投影网络将跨度映射到原型，EP-Net在Few-NERD和领域迁移基准上实现了最先进性能，在消融实验中相比之前模型的F1值最高提升9.6%。

ABSTRACT

Few-shot named entity recognition (NER) enables us to build a NER system for a new domain using very few labeled examples. However, existing prototypical networks for this task suffer from roughly estimated label dependency and closely distributed prototypes, thus often causing misclassifications. To address the above issues, we propose EP-Net, an Entity-level Prototypical Network enhanced by dispersedly distributed prototypes. EP-Net builds entity-level prototypes and considers text spans to be candidate entities, so it no longer requires the label dependency. In addition, EP-Net trains the prototypes from scratch to distribute them dispersedly and aligns spans to prototypes in the embedding space using a space projection. Experimental results on two evaluation tasks and the Few-NERD settings demonstrate that EP-Net consistently outperforms the previous strong models in terms of overall performance. Extensive analyses further validate the effectiveness of EP-Net.

研究动机与目标

• 解决现有原型网络在少样本NER中的局限性，特别是因标注数据不足而导致标签依赖关系估计不准确的问题。
• 克服嵌入空间中原型过于聚集导致的误分类问题。
• 通过从标记级原型学习转向实体级原型学习，消除对标签依赖的需求。
• 提出一种从零开始训练原型的方法，通过显式分散性约束提升分类鲁棒性。
• 通过深度神经网络投影层确保跨度表征与原型嵌入之间的对齐。

提出的方法

• EP-Net构建实体级原型而非标记级原型，实现对跨度的直接分类，无需依赖标签转移依赖关系。
• 原型通过基于距离的损失函数 $\mathcal{L}_d$ 从零开始训练，以在嵌入空间中强制实现分散分布。
• 通过深度神经网络将跨度表征映射到原型嵌入空间，以消除跨度与原型之间存在的对齐偏差。
• 模型使用欧氏距离度量跨度表征与原型之间的相似性，该方法在消融实验中优于余弦相似度。
• 空间投影机制将跨度与原型对齐于同一嵌入空间，提升了相似性匹配的准确性。
• 模型在Few-NERD数据集上以1-shot设置进行评估，涵盖标签集扩展与领域迁移任务，消融实验验证了各组件的有效性。

实验结果

研究问题

• RQ1 在标签转移概率估计不佳的情况下，实体级原型是否能消除少样本NER中对标签依赖的需求？
• RQ2 通过分散性损失从零开始训练原型，是否能带来更优的原型分布并减少误分类？
• RQ3 通过投影网络将跨度表征对齐到原型嵌入，对分类性能有何影响？
• RQ4 在所提框架中，使用欧氏距离与余弦相似度进行跨度-原型匹配，其影响如何？
• RQ5 EP-Net的各个组件（实体级原型、原型训练、距离度量）对整体性能提升的贡献程度如何？

主要发现

• 在1-shot Group A实验中，EP-Net相比基线模型CP-Net（采用传统原型）的F1值绝对提升9.6%，验证了分布分散原型的有效性。
• t-SNE可视化显示，EP-Net能将同一实体类型的跨度表征聚类在一起，同时清晰分离不同类别，表明其决策边界学习更优。
• 消融实验表明，若移除实体级原型，F1值下降5.1–7.2%，证实其在消除标签依赖中的关键作用。
• 若移除原型训练损失 $\mathcal{L}_d$，F1值下降5.8–11.8%，表明分散的原型分布对性能至关重要。
• 使用欧氏距离进行相似度度量优于余弦相似度，在多个设置下F1值提升4.0–5.0%。
• 热力图可视化表明，EP-Net的原型分布更广，且与'None'类的分离更清晰，减少了混淆。