[论文解读] Pack Together: Entity and Relation Extraction with Levitated Marker.

Deming Ye, Yankai Lin+1 more|arXiv (Cornell University)|Sep 13, 2021

Topic Modeling参考文献 55被引用 14

一句话总结

本文提出了一种名为Packed Levitated Markers的新颖跨度表示方法，通过在预训练编码器中战略性地打包标记，对命名实体识别（NER）和关系抽取（RE）中的跨度间依赖关系进行建模。通过采用分组和以主体为导向的打包策略，该方法在平面NER任务上的F1分数提升了0.4%-1.9%，在ACE04/ACE05上的严格关系F1分数高出先前SOTA模型3.5%-3.6%，且推理速度更快。

ABSTRACT

Named Entity Recognition (NER) and Relation Extraction (RE) are the core sub-tasks for information extraction. Many recent works formulate these two tasks as the span (pair) classification problem, and thus focus on investigating how to obtain a better span representation from the pre-trained encoder. However, a major limitation of existing works is that they ignore the dependencies between spans (pairs). In this work, we propose a novel span representation approach, named Packed Levitated Markers, to consider the dependencies between the spans (pairs) by strategically packing the markers in the encoder. In particular, we propose a group packing strategy to enable our model to process massive spans together to consider their dependencies with limited resources. Furthermore, for those more complicated span pair classification tasks, we design a subject-oriented packing strategy, which packs each subject and all its objects into an instance to model the dependencies between the same-subject span pairs. Our experiments show that our model with packed levitated markers outperforms the sequence labeling model by 0.4%-1.9% F1 on three flat NER tasks, beats the token concat model on six NER benchmarks, and obtains a 3.5%-3.6% strict relation F1 improvement with higher speed over previous SOTA models on ACE04 and ACE05. Code and models are publicly available at this https URL.

研究动机与目标

• 解决现有NER和RE模型在表示学习过程中忽略跨度间依赖关系的局限性。
• 在计算资源受限的条件下，通过高效建模多个跨度（成对）之间的交互，改进跨度表示。
• 设计一种可扩展的打包机制，实现在保留依赖建模能力的同时，联合处理大量跨度。
• 通过聚焦于以主体为导向的依赖关系，提升复杂跨度对分类任务的性能。
• 相比现有序列标注和标记拼接基线模型，实现更高的准确率与更快的推理速度。

提出的方法

• 引入悬浮标记——一种置于输入序列中的特殊标记，用于表示跨度或跨度对，使模型能够同时关注并推理多个跨度。
• 提出一种分组打包策略，将大量跨度聚类并一起处理，以在内存受限条件下建模跨度间依赖关系。
• 设计一种以主体为导向的打包策略，将每个主体与其所有相关对象组合为单一实例，以建模特定主体的依赖关系。
• 将打包后的标记整合进预训练编码器（如BERT），以联合学习具有相关跨度上下文感知能力的跨度表示。
• 使用标准跨度分类头进行端到端训练，适用于NER和RE任务，其中标记动态定位以反映跨度边界。
• 通过结构化打包减少冗余计算，优化推理速度，实现对长序列的高效处理。

实验结果

研究问题

• RQ1 与独立跨度分类相比，建模跨度之间的依赖关系是否能提升联合NER与RE任务的性能？
• RQ2 如何在不产生高昂计算成本的前提下，高效建模大量跨度之间的依赖关系？
• RQ3 与通用分组相比，以主体为导向的跨度打包是否能在关系抽取任务中带来更好的性能？
• RQ4 所提出的标记打包策略是否能在保持更快推理速度的同时，实现最先进性能？
• RQ5 该方法在包括平面与嵌套标注方案在内的多样化NER与RE基准上是否具备良好的泛化能力？

主要发现

• 与序列标注基线相比，该模型在三个平面NER基准上的F1分数提升了0.4%-1.9%。
• 在六个NER基准上优于标记拼接模型，证明了其在跨度表示学习方面的优越性。
• 在ACE04和ACE05上，该模型相比先前SOTA模型，严格关系F1分数提高了3.5%-3.6%。
• 该模型的推理速度高于先前SOTA方法，表明打包机制带来了效率提升。
• 以主体为导向的打包策略通过建模主体内依赖关系，显著提升了复杂关系抽取任务的性能。
• 该方法在包括嵌套与平面实体结构在内的多样化数据集上表现出良好的泛化能力。