[论文解读] A Boundary Regression Model for Nested Named Entity Recognition

Yanping Chen, Lefei Wu+8 more|arXiv (Cornell University)|Nov 29, 2020

Topic Modeling被引用 16

一句话总结

本文提出一种边界回归（BR）模型用于嵌套命名实体识别，通过将实体边界表示为连续值并利用回归方法优化其位置。该方法引入一种多目标学习框架，联合预测实体类别并回归边界偏移量，通过共享深层表征并避免穷举所有可能的跨度，实现了嵌套命名实体识别的最先进性能。

ABSTRACT

Recognizing named entities (NEs) is commonly conducted as a classification problem that predicts a class tag for a word or a NE candidate in a sentence. In shallow structures, categorized features are weighted to support the prediction. Recent developments in neural networks have adopted deep structures that map categorized features into continuous representations. This approach unfolds a dense space saturated with high-order abstract semantic information, where the prediction is based on distributed feature representations. In this paper, positions of NEs in a sentence are represented as continuous values. Then, a regression operation is introduced to regress boundaries of NEs in a sentence. Based on boundary regression, we design a boundary regression model to support nested NE recognition. It is a multiobjective learning framework, which simultaneously predicts the classification score of a NE candidate and refine its spatial location in a sentence. It has the advantage to resolve nested NEs and support boundary regression for locating NEs in a sntence. By sharing parameters for predicting and locating, this model enables more potent nonlinear function approximators to enhance model discriminability. Experiments demonstrate state-of-the-art performance for nested NE recognition\footnote{Our codes to implement the BR model are available at: \url{https://github.com/wuyuefei3/BR}.}.

研究动机与目标

• 解决序列标注模型在捕捉嵌套命名实体结构方面的局限性。
• 克服基于跨度分类方法在枚举所有可能命名实体跨度时存在的计算效率低下与数据不平衡问题。
• 通过将目标检测技术从计算机视觉迁移至自然语言处理，将实体边界建模为连续值。
• 设计一种统一的深度学习框架，通过联合优化同时预测实体类别并精炼空间边界。
• 通过在分类与回归分支之间共享参数，提升模型判别能力与泛化性能。

提出的方法

• 将命名实体边界表示为连续值而非离散的词元位置，以支持基于回归的优化。
• 设计一种包含共享特征提取、区域建议网络及独立分类与回归分支的多目标学习框架。
• 在训练过程中使用线性层最小化预测边界位置与真实边界位置之间的偏移量。
• 通过区域建议模块生成候选跨度（文本边界框），并通过边界回归精炼其空间位置。
• 采用深度神经网络从句子中提取高层语义表征，随后联合预测类别得分与边界偏移量。
• 采用端到端训练策略，同时优化分类准确率与边界定位精度。

实验结果

研究问题

• RQ1 与离散序列标注相比，连续边界回归是否能提升嵌套命名实体识别的准确性？
• RQ2 分类与边界回归的联合学习在嵌套命名实体识别任务中如何提升模型性能？
• RQ3 边界回归在多大程度上可减少命名实体识别中对穷举跨度枚举的需求？
• RQ4 所提出的BR模型在不同嵌套命名实体比例与复杂语言结构下是否具备良好的泛化能力？
• RQ5 分类与回归分支之间的参数共享如何影响模型的判别能力与效率？

主要发现

• BR模型在嵌套命名实体识别任务上达到最先进性能，在基准数据集上优于现有方法。
• 通过将边界预测建模为连续值上的回归任务，模型有效解决了嵌套命名实体识别问题，避免了跨度枚举的局限性。
• 分类与边界回归的联合优化显著提升了边界定位精度，并在复杂嵌套结构上表现出更好的泛化能力。
• 连续边界表示的使用使得命名实体的空间精炼更加精确，尤其在重叠或深度嵌套的实体上表现更优。
• 模型对跨度方法中常见的数据不平衡与高计算复杂度问题表现出强鲁棒性。
• 实证结果证实，采用共享特征提取的多目标学习框架可有效提升模型的判别能力与效率。