[论文解读] CopyMTL: Copy Mechanism for Joint Extraction of Entities and Relations with Multi-Task Learning

Daojian Zeng, Ranran Haoran Zhang+1 more|arXiv (Cornell University)|Nov 24, 2019

Topic Modeling参考文献 26被引用 11

一句话总结

该论文提出 CopyMTL，一种具有新颖复制机制的多任务学习框架，可提升联合实体与关系抽取性能。通过在专用非线性层中解耦头实体与尾实体预测，并整合序列标注以实现多标记实体识别，CopyMTL 在 NYT 和 WebNLG 数据集上的 F1 分数分别较之前方法提升 9% 和 16%，达到当前最先进水平。

ABSTRACT

Joint extraction of entities and relations has received significant attention due to its potential of providing higher performance for both tasks. Among existing methods, CopyRE is effective and novel, which uses a sequence-to-sequence framework and copy mechanism to directly generate the relation triplets. However, it suffers from two fatal problems. The model is extremely weak at differing the head and tail entity, resulting in inaccurate entity extraction. It also cannot predict multi-token entities (e.g. extit{Steven Jobs}). To address these problems, we give a detailed analysis of the reasons behind the inaccurate entity extraction problem, and then propose a simple but extremely effective model structure to solve this problem. In addition, we propose a multi-task learning framework equipped with copy mechanism, called CopyMTL, to allow the model to predict multi-token entities. Experiments reveal the problems of CopyRE and show that our model achieves significant improvement over the current state-of-the-art method by 9% in NYT and 16% in WebNLG (F1 score). Our code is available at https://github.com/WindChimeRan/CopyMTL

研究动机与目标

• 解决 CopyRE 中实体复制不稳定的缺陷，其头实体与尾实体因共享分布且依赖不自然的掩码机制而导致预测不准确。
• 克服 CopyRE 在处理多标记实体时的局限性，使模型能够预测完整实体而非仅最后一个标记。
• 设计一种多任务学习框架，联合优化用于实体边界识别的序列标注与用于关系三元组生成的序列到序列生成。
• 通过利用实体识别与关系分类之间的相互依赖性，提升联合抽取的整体性能。
• 提供对 CopyRE 无法区分头实体与尾实体的根本原因的理论分析，从而构建更鲁棒的模型架构。

提出的方法

• 引入新型模型架构，通过独立的非线性全连接层生成头实体与尾实体的独立概率分布，从而消除对掩码机制的依赖。
• 在编码器阶段集成序列标注层，用于预测实体的起始位置，使模型能够识别多标记实体。
• 采用多任务学习联合优化来自序列标注头（用于实体边界）和序列到序列解码器（用于关系三元组）的损失。
• 在解码器中利用复制机制指向每个实体的最后一个标记，同时依赖序列标注头识别完整的实体跨度。
• 采用端到端训练方式，使用联合多任务损失函数平衡实体边界检测与三元组生成任务。
• 确保尾实体预测过程融入头实体预测的信息，从而提升结构一致性和预测准确性。

实验结果

研究问题

• RQ1 CopyRE 为何无法准确区分头实体与尾实体？其不稳定的复制行为的根本原因是什么？
• RQ2 如何修改模型以消除实体复制过程中对不自然掩码机制的依赖？
• RQ3 为使模型能够提取完整的多标记实体而非仅最后一个标记，需要进行哪些架构改进？
• RQ4 结合序列标注与序列到序列生成的多任务学习框架是否能显著提升联合实体与关系抽取性能？
• RQ5 所提出的架构在标准基准测试中，其 F1 分数相较于现有最先进模型的提升程度如何？

主要发现

• 在 NYT 数据集上，CopyMTL 达到 70.9% 的 F1 分数，较之前最先进方法提升 9 个百分点。
• 在 WebNLG 数据集上，CopyMTL 达到 58.9% 的 F1 分数，较 prior state-of-the-art 提升 16 个百分点。
• CopyMTL 的序列标注组件在 NYT 上达到 99% F1，在 WebNLG 上达到 96% F1，表明其在识别实体边界方面表现优异。
• 消融实验表明，所提出的架构显著提升了头尾实体的区分能力，完全消除了对掩码机制的依赖。
• 模型成功提取了完整的多标记实体，如 "Steven Jobs"，而 CopyRE 未能捕捉此类实体。
• 分析显示，CopyRE 对头实体与尾实体使用相同的分布，导致泛化能力差并过度依赖掩码机制。