[论文解读] BoningKnife: Joint Entity Mention Detection and Typing for Nested NER via prior Boundary Knowledge

Huiqiang Jiang, Guoxin Wang+3 more|arXiv (Cornell University)|Jul 20, 2021

Topic Modeling参考文献 26被引用 8

一句话总结

BoningKnife 提出了一种联合实体提及检测与类型识别模型，用于嵌套命名实体识别（NER），通过利用先验边界知识来提升准确率与效率。通过整合一个提及标记器（MentionTagger）以增强边界感知的候选生成，以及一个采用两级注意力机制的类型分类器（TypeClassifier）以解耦嵌套层级，该模型在 ACE2004、ACE2005 和 NNE 上分别取得了 86.41、85.46 和 94.2 的 SOTA F1 分数，同时相比基于跨度的基线方法，训练时间最多减少了 4.18 倍。

ABSTRACT

While named entity recognition (NER) is a key task in natural language processing, most approaches only target flat entities, ignoring nested structures which are common in many scenarios. Most existing nested NER methods traverse all sub-sequences which is both expensive and inefficient, and also don't well consider boundary knowledge which is significant for nested entities. In this paper, we propose a joint entity mention detection and typing model via prior boundary knowledge (BoningKnife) to better handle nested NER extraction and recognition tasks. BoningKnife consists of two modules, MentionTagger and TypeClassifier. MentionTagger better leverages boundary knowledge beyond just entity start/end to improve the handling of nesting levels and longer spans, while generating high quality mention candidates. TypeClassifier utilizes a two-level attention mechanism to decouple different nested level representations and better distinguish entity types. We jointly train both modules sharing a common representation and a new dual-info attention layer, which leads to improved representation focus on entity-related information. Experiments over different datasets show that our approach outperforms previous state of the art methods and achieves 86.41, 85.46, and 94.2 F1 scores on ACE2004, ACE2005, and NNE, respectively.

研究动机与目标

• 为解决现有嵌套 NER 方法在遍历所有子序列时效率低下且对嵌套层级处理不佳的问题。
• 通过引入超越仅起始/结束标记的更丰富的边界知识，提升对深度嵌套和长跨度实体的识别能力。
• 通过解耦不同嵌套层级的表示，以增强类型分类的准确性。
• 通过共享编码器和双信息注意力层，联合优化提及检测与类型识别，以实现更集中的表示学习。
• 通过预先生成高质量的提及候选，实现在不牺牲性能的前提下显著提升效率。

提出的方法

• 该模型采用双模块架构：MentionTagger 负责边界感知的提及候选生成，TypeClassifier 负责类型预测。
• MentionTagger 通过建模实体起始、结束与区域级信息之间的交互，增强边界知识，从而提升对嵌套和长跨度实体的检测能力。
• TypeClassifier 采用两级注意力机制，以解耦不同嵌套层级的表示，提升类型判别能力。
• 双信息注意力层将提及检测输出与上下文表征融合，支持联合训练，并增强对实体相关特征的关注。
• 系统通过共享的 BERT 基础编码器和端到端优化进行联合训练，减少对穷举子序列枚举的依赖。
• 该方法通过生成高质量候选，避免完整跨度枚举，将时间复杂度从 O(m·n²) 显著降低至更高效的量级。

实验结果

研究问题

• RQ1 超越简单起始/结束标记的先验边界知识，是否能提升嵌套和长跨度实体在 NER 中的检测效果？
• RQ2 如何有效解耦不同嵌套层级的表示，以提升重叠提及中的实体类型分类性能？
• RQ3 通过双信息注意力机制联合训练提及检测与类型识别，能否增强表示聚焦并提升模型性能？
• RQ4 在不降低准确率的前提下，减少候选生成复杂度在多大程度上提升了嵌套 NER 的效率？
• RQ5 在标准嵌套 NER 基准上，该模型在 F1 分数和训练时间方面与 SOTA 方法相比表现如何？

主要发现

• BoningKnife 在 ACE2004 上取得 86.41 的 SOTA F1 分数，在 ACE2005 上为 85.46，在 NNE 上为 94.2，优于先前方法。
• 与基于跨度的基线相比，该模型在 ACE2004 上将训练时间减少 1.75 倍，在 ACE2005 上减少 1.83 倍，在 NNE 上最多减少 4.18 倍。
• 消融实验表明，若移除 MentionTagger，ACE2004 上的 F1 会下降至 31.54，凸显其在候选质量中的关键作用。
• 注意力可视化显示，双信息注意力层能有效聚焦于相关实体标记及其邻近词，提升语义对齐效果。
• 即使在结束标记概率较低的情况下，该模型仍能正确识别长嵌套跨度（如 'those so injured'），而 S/E 基方法则无法做到。
• 双信息注意力层通过融合全局上下文与提及特异性关注，提升了表示学习效果，从而改善了性能。