[论文解读] A Unified Generative Framework for Various NER Subtasks

Hang Yan, Tao Gui+4 more|arXiv (Cornell University)|Jun 2, 2021

Topic Modeling参考文献 64被引用 4

一句话总结

本文提出了一种统一的生成式框架，用于处理扁平化、嵌套型和不连续型命名实体识别（NER）子任务，通过将NER建模为使用指针机制的序列到序列（seq2seq）模型的实体跨度序列生成任务。该方法利用预训练的BART模型，并采用三种实体表示策略（Word、BPE、Span），在无需任务特定标注模式或跨度枚举的情况下，在八个英文NER数据集上实现了最先进或接近最先进性能。

ABSTRACT

Named Entity Recognition (NER) is the task of identifying spans that represent entities in sentences. Whether the entity spans are nested or discontinuous, the NER task can be categorized into the flat NER, nested NER, and discontinuous NER subtasks. These subtasks have been mainly solved by the token-level sequence labelling or span-level classification. However, these solutions can hardly tackle the three kinds of NER subtasks concurrently. To that end, we propose to formulate the NER subtasks as an entity span sequence generation task, which can be solved by a unified sequence-to-sequence (Seq2Seq) framework. Based on our unified framework, we can leverage the pre-trained Seq2Seq model to solve all three kinds of NER subtasks without the special design of the tagging schema or ways to enumerate spans. We exploit three types of entity representations to linearize entities into a sequence. Our proposed framework is easy-to-implement and achieves state-of-the-art (SoTA) or near SoTA performance on eight English NER datasets, including two flat NER datasets, three nested NER datasets, and three discontinuous NER datasets.

研究动机与目标

• 解决当前缺乏统一方法同时处理扁平化、嵌套型和不连续型NER子任务的问题。
• 消除NER模型中对任务特定标注模式或跨度枚举的需求。
• 探索预训练序列到序列模型（如BART）在多样化NER子任务中的有效性。
• 评估不同实体表示策略（Word、BPE、Span）对模型性能的影响。
• 证明单一生成式模型能够处理重叠、不连续及交叉实体结构。

提出的方法

• 将NER建模为序列到序列生成任务，模型生成实体指针索引序列。
• 在预训练的BART模型中引入指针网络，直接从输入句子生成实体跨度。
• 提出三种实体表示方法：Word（词级别）、BPE（子词级别）和Span（起始-结束索引对），以将实体线性化为序列。
• 使用生成的实体索引序列上的交叉熵损失进行端到端训练。
• 引入预训练的BART以增强上下文表示学习，提升泛化能力。
• 在推理阶段采用束搜索（beam search）解码，生成最终的实体跨度列表。

实验结果

研究问题

• RQ1 单一生成式序列到序列模型是否能在不修改架构或标注模式的情况下，有效处理扁平化、嵌套型和不连续型NER子任务？
• RQ2 不同实体表示策略（Word、BPE、Span）在多样化NER数据集上的性能表现如何？
• RQ3 预训练的Seq2Seq模型（如BART）在多任务NER中能多大程度上被利用以提升性能？
• RQ4 该模型在处理稀有或复杂结构（如不连续和交叉实体）时是否保持较强的召回率？
• RQ5 输出序列中实体预测的顺序如何影响召回率表现？

主要发现

• 所提出的统一生成式框架在八个多样化英文NER数据集上实现了最先进或接近最先进性能，涵盖两个扁平化、三个嵌套型和三个不连续型NER数据集。
• 在Genia数据集上，'Span'表示法表现最优，可能因其与BPE分词更匹配，并减少了实体跨度的碎片化。
• 在ShARe13中，不连续实体的F1达到55.0，在ShARe14中达到52.7，优于先前方法在这些罕见但复杂的场景下的表现。
• 无效预测（如非连续或格式错误的索引）发生率低于1%，且在评估中排除这些样本不会影响整体性能。
• 对于扁平化和不连续型NER，输出序列中靠后出现的实体更可能被召回，表明实体间依赖性较低。
• 在嵌套型NER中，召回率曲线更复杂，可能由于层次依赖关系：外层实体的正确预测依赖于内层实体的准确预测。