[论文解读] TPLinker: Single-stage Joint Extraction of Entities and Relations Through Token Pair Linking

Yucheng Wang, Bowen Yu+4 more|arXiv (Cornell University)|Oct 26, 2020

Topic Modeling参考文献 23被引用 16

一句话总结

该论文提出 TPLinker，一种单阶段联合抽取模型，通过一种新颖的握手标注方案，将实体和关系抽取建模为标记对链接任务。通过消除序列依赖性和暴露偏差，TPLinker 在 NYT 和 WebNLG 数据集上实现了最先进性能，尤其在重叠关系和多重关系抽取方面表现突出。

ABSTRACT

Extracting entities and relations from unstructured text has attracted increasing attention in recent years but remains challenging, due to the intrinsic difficulty in identifying overlapping relations with shared entities. Prior works show that joint learning can result in a noticeable performance gain. However, they usually involve sequential interrelated steps and suffer from the problem of exposure bias. At training time, they predict with the ground truth conditions while at inference it has to make extraction from scratch. This discrepancy leads to error accumulation. To mitigate the issue, we propose in this paper a one-stage joint extraction model, namely, TPLinker, which is capable of discovering overlapping relations sharing one or both entities while immune from the exposure bias. TPLinker formulates joint extraction as a token pair linking problem and introduces a novel handshaking tagging scheme that aligns the boundary tokens of entity pairs under each relation type. Experiment results show that TPLinker performs significantly better on overlapping and multiple relation extraction, and achieves state-of-the-art performance on two public datasets.

研究动机与目标

• 解决依赖于真实标签进行训练但在推理时从零开始生成预测的序列联合抽取模型中的暴露偏差问题。
• 实现对重叠关系（尤其是 SingleEntityOverlap (SEO) 和 EntityPairOverlap (EPO)）的有效联合抽取，这些对现有模型而言具有挑战性。
• 设计一种单阶段、端到端的框架，避免级联预测带来的错误传播。
• 提升在真实文本中多重关系及复杂重叠关系模式下的性能。

提出的方法

• TPLinker 将联合抽取建模为标记对链接问题，其中每种子关系类型关联三个二分类标注任务：实体边界链接、主体起始链接和对象结束链接。
• 引入一种新颖的握手标注方案，为每种子关系类型标注三个独立的标记链接矩阵，实现对实体边界和关系头的精确对齐。
• 通过一次前向传播同时预测所有实体和关系跨度，消除了对先前预测的依赖，减轻了暴露偏差。
• 解码过程通过组合三个链接矩阵的预测结果，提取所有有效实体对和关系，实现在无需自回归生成的情况下进行联合推理。
• TPLinker 使用 BERT 作为基础编码器，并在标记表示上应用线性分类头，以预测标记对之间的链接得分。
• 模型通过在三个链接矩阵上使用交叉熵损失进行端到端训练，实现实体和关系预测的联合优化。

实验结果

研究问题

• RQ1 单阶段模型是否能在重叠关系和多重关系抽取上超越依赖于多步序列处理的联合抽取模型？
• RQ2 通过非自回归设计消除暴露偏差，对复杂关系模式下的性能有何影响？
• RQ3 基于标记对链接的统一标注方案是否能有效同时建模实体和关系抽取？
• RQ4 所提出的握手标注方案在 EntityPairOverlap (EPO) 和 SingleEntityOverlap (SEO) 情况下的性能提升程度如何？
• RQ5 与自回归基线模型 CasRel 相比，TPLinker 在效率和可扩展性方面表现如何？

主要发现

• TPLinker 在 NYT 和 WebNLG 数据集上均取得了最先进 F1 分数，使用 BERT 架构时，NYT 上达到 90.1 F1，WebNLG 上达到 87.9 F1。
• 在包含五个或更多关系的句子中，TPLinker 比 CasRel BERT 提升了 6.3 个百分点（96.1 vs. 89.9 F1），表明其在复杂、高关系密度场景下具有卓越性能。
• TPLinker 在 WebNLG-SEO 上达到 93.4 F1，在 WebNLG-EPO 上达到 94.0 F1，显著优于先前方法在重叠关系模式下的表现。
• 在批量处理下，TPLinker 的推理速度接近 CasRel BERT 的 3.6 倍，平均每个样本仅需 15.2ms（而 CasRel BERT 为 54.0ms）。
• 即使在批量大小为 1 的情况下，TPLinker BERT 的推理速度仍保持竞争力（82.7ms），证实了其高效性与可部署性。
• 大量消融实验证明，握手标注方案对于建模重叠关系至关重要，尤其在 EPO 和 SEO 场景中。