[论文解读] A Span-Based Model for Joint Overlapped and Discontinuous Named Entity Recognition

Fei Li, Zhichao Lin+2 more|arXiv (Cornell University)|Jun 28, 2021

Topic Modeling参考文献 58被引用 5

一句话总结

本文提出了一种基于跨度的新模型，用于联合识别重叠和不连续命名实体，结合 BERT 和实体片段之间的关系分类。通过将任务视为关系抽取问题——将跨度对分类为重叠或连续关系，该模型在 CLEF、GENIA 和 ACE05 数据集上实现了最先进性能，证明了其在处理复杂实体结构时的强大有效性，且无误差传播问题。

ABSTRACT

Research on overlapped and discontinuous named entity recognition (NER) has received increasing attention. The majority of previous work focuses on either overlapped or discontinuous entities. In this paper, we propose a novel span-based model that can recognize both overlapped and discontinuous entities jointly. The model includes two major steps. First, entity fragments are recognized by traversing over all possible text spans, thus, overlapped entities can be recognized. Second, we perform relation classification to judge whether a given pair of entity fragments to be overlapping or succession. In this way, we can recognize not only discontinuous entities, and meanwhile doubly check the overlapped entities. As a whole, our model can be regarded as a relation extraction paradigm essentially. Experimental results on multiple benchmark datasets (i.e., CLEF, GENIA and ACE05) show that our model is highly competitive for overlapped and discontinuous NER.

研究动机与目标

• 为解决序列标注和图模型在同时处理重叠和不连续命名实体方面的局限性。
• 通过纯基于跨度的端到端框架，消除误差传播并减少人工设计。
• 通过联合建模实体片段及其关系，提升对复杂实体结构的识别能力。
• 评估语法引导的 GCN 和关系分类在提升基准数据集性能方面的有效性。

提出的方法

• 该模型首先在句子中识别所有可能的文本跨度，并使用基于 BERT 的上下文表示将每个跨度分类为潜在的实体片段。
• 然后对所有片段对进行二分类，以判断其是否构成重叠或连续（不连续）关系。
• 该模型使用依赖引导的图卷积网络（GCN）将句法信息融入到跨度表示中。
• 关系预测被建模为分类任务：两个片段被标记为“重叠”或“连续”。
• 最终预测通过基于关系得分合并兼容的片段对获得，从而实现对所有实体类型的联合识别。
• 整个流程通过跨度分类和关系预测的交叉熵损失进行端到端训练。

实验结果

研究问题

• RQ1 基于跨度的模型是否能在不依赖复杂图结构或转移系统的情况下，联合识别重叠和不连续命名实体？
• RQ2 对片段关系（重叠 vs. 连续）的建模在提升复杂实体类型识别方面有何改善作用？
• RQ3 来自依存句法分析的句法特征在联合命名实体识别中的性能提升程度如何？
• RQ4 在包含常规、重叠和不连续实体的混合实体类型数据集上，该模型与最先进模型相比表现如何？

主要发现

• 在 ACE05 上，该模型达到 83.0% 的 F1，在 CLEF 上达到 82.4% 的 F1，优于这些基准上的超图和基于转移的模型。
• 在 GENIA 上，该模型达到 77.8% 的 F1，尽管未使用共指消解或多嵌入融合，仍与或超过最先进模型。
• 依赖引导的 GCN 平均提升性能 0.4%，证明了句法信息在跨度表示中的价值。
• 即使在仅包含常规和重叠实体的数据集中，重叠关系分类器也表现出积极贡献，表明其通用实用性。
• 该模型在联合识别所有实体类型时显著提升了召回率，当综合考虑所有类型时，F1 提升 0.8%。
• 尽管在不连续实体上的表现略逊于基于转移的模型，但该模型在所有实体类型上均保持强劲性能，表明其具有互补优势。