[论文解读] Locate and Label: A Two-stage Identifier for Nested Named Entity Recognition

Yongliang Shen, Xinyin Ma+4 more|arXiv (Cornell University)|May 14, 2021

Topic Modeling参考文献 45被引用 15

一句话总结

本文提出一种基于两阶段目标检测思想的嵌套命名实体识别（NER）两阶段神经网络。首先通过过滤和边界回归生成并优化跨度提议，然后进行分类，通过有效利用部分匹配和边界信息，在KBPC17、ACE04和ACE05数据集上实现了最先进的F1分数，同时降低了计算成本。

ABSTRACT

Named entity recognition (NER) is a well-studied task in natural language processing. Traditional NER research only deals with flat entities and ignores nested entities. The span-based methods treat entity recognition as a span classification task. Although these methods have the innate ability to handle nested NER, they suffer from high computational cost, ignorance of boundary information, under-utilization of the spans that partially match with entities, and difficulties in long entity recognition. To tackle these issues, we propose a two-stage entity identifier. First we generate span proposals by filtering and boundary regression on the seed spans to locate the entities, and then label the boundary-adjusted span proposals with the corresponding categories. Our method effectively utilizes the boundary information of entities and partially matched spans during training. Through boundary regression, entities of any length can be covered theoretically, which improves the ability to recognize long entities. In addition, many low-quality seed spans are filtered out in the first stage, which reduces the time complexity of inference. Experiments on nested NER datasets demonstrate that our proposed method outperforms previous state-of-the-art models.

研究动机与目标

• 为解决基于跨度的方法在嵌套NER中的局限性，包括计算成本高、长实体识别效果差，以及边界信息和部分匹配跨度的利用率低等问题。
• 通过在两阶段框架中整合边界回归与跨度分类，改进实体边界建模。
• 通过在流水线早期过滤低质量的种子跨度，减少推理时间。
• 通过基于IoU构建软样本，提升训练效率，用于部分匹配真实实体的跨度。
• 在标准嵌套NER基准上实现最先进性能，尤其在处理长实体和深度嵌套实体方面表现优异。

提出的方法

• 模型采用两阶段架构：首先通过过滤器和边界回归器生成并优化跨度提议，然后使用跨度分类器进行分类。
• 过滤器组件将上下文跨度与跨度提议分离，并剔除无前景的上下文跨度，以减少候选空间。
• 边界回归器使用SmoothL1损失和基于IoU的跨度级重叠损失，调整跨度提议的起始和结束位置，以提高定位精度。
• 训练期间，通过根据部分匹配跨度与真实实体的IoU加权损失，构建软样本，以缓解类别不平衡并提升泛化能力。
• 推理阶段应用软非极大值抑制（Soft-NMS），以抑制假阳性预测并优化最终输出。
• 该方法联合优化边界回归与跨度分类，实现与真实实体边界更好的对齐，提升长实体的识别能力。

实验结果

研究问题

• RQ1 受目标检测启发的两阶段框架，是否能相比单阶段基于跨度的方法，更有效地提升嵌套NER的效率与准确率？
• RQ2 如何更有效地利用边界信息，以提升对长实体和深度嵌套实体的定位能力？
• RQ3 此前被丢弃为负样本的部分匹配跨度，是否可在训练中加以利用，以提升模型鲁棒性并减少噪声？
• RQ4 基于IoU的软样本构建，在嵌套NER中不平衡跨度分类任务上的性能提升程度如何？
• RQ5 在第一阶段集成过滤与边界回归，是否能显著减少推理时间，同时保持或提升F1分数？

主要发现

• 在KBPC17数据集上，所提模型相比之前最先进方法，F1分数提升+3.08%。
• 在ACE04数据集上，相比现有方法，F1分数提升+0.71%。
• 在ACE05数据集上，相比先前SOTA模型，F1分数提升+1.27%。
• 通过在第一阶段过滤低质量种子跨度，显著降低了推理阶段的计算成本。
• 训练阶段基于IoU构建的软样本，有效缓解了正负跨度之间的不平衡，提升了泛化能力。
• 边界回归与跨度分类的联合建模，使模型能够准确检测常被标准基于跨度模型忽略的长实体与嵌套实体。