[论文解读] Exploiting Entity BIO Tag Embeddings and Multi-task Learning for Relation Extraction with Imbalanced Data

Wei Ye, Bo Li+4 more|arXiv (Cornell University)|Jun 21, 2019

Topic Modeling参考文献 31被引用 5

一句话总结

本文提出一种多任务学习框架，通过分别使用交叉熵损失和排序损失，联合训练关系识别（二分类）与关系分类（多分类），以解决关系抽取中的数据不平衡问题。通过将命名实体识别任务中学习到的字符级和词级BIO标签嵌入融入输入表示，进一步提升性能，在ACE 2005中文和英文数据集上相比基线模型实现了超过10%的绝对F1分数提升。

ABSTRACT

In practical scenario, relation extraction needs to first identify entity pairs that have relation and then assign a correct relation class. However, the number of non-relation entity pairs in context (negative instances) usually far exceeds the others (positive instances), which negatively affects a model's performance. To mitigate this problem, we propose a multi-task architecture which jointly trains a model to perform relation identification with cross-entropy loss and relation classification with ranking loss. Meanwhile, we observe that a sentence may have multiple entities and relation mentions, and the patterns in which the entities appear in a sentence may contain useful semantic information that can be utilized to distinguish between positive and negative instances. Thus we further incorporate the embeddings of character-wise/word-wise BIO tag from the named entity recognition task into character/word embeddings to enrich the input representation. Experiment results show that our proposed approach can significantly improve the performance of a baseline model with more than 10% absolute increase in F1-score, and outperform the state-of-the-art models on ACE 2005 Chinese and English corpus. Moreover, BIO tag embeddings are particularly effective and can be used to improve other models as well.

研究动机与目标

• 解决关系抽取中极端类别不平衡的问题，即负样本（非关系）远多于正样本。
• 通过引入关系识别与分类的联合学习框架，提升模型在不平衡数据上的泛化能力与鲁棒性。
• 利用实体提及序列中的结构模式——通过BIO标签嵌入捕捉——以丰富输入表示，增强正负样本之间的判别能力。
• 证明BIO标签嵌入是有效的通用特征，可显著提升不同模型的性能。

提出的方法

• 训练一个多任务模型，联合执行关系识别（二分类）使用交叉熵损失，以及关系分类使用排序损失。
• 将从独立命名实体识别任务中学习到的字符级和词级BIO标签嵌入，整合到关系抽取模型的输入嵌入中。
• 采用深度神经网络架构（如CNN或RNN）编码句子，共享层用于两个任务以实现知识迁移。
• 在关系分类头中应用成对排序损失，以降低模型对大量负样本的敏感性。
• 在ACE 2005数据集上端到端微调模型，使用中文和英文语料进行评估。
• 使用注意力机制和位置嵌入，以改善长距离依赖关系和相对实体位置的建模。

实验结果

研究问题

• RQ1 在关系识别与关系分类上进行联合训练，能否缓解因数据不平衡导致的性能下降？
• RQ2 从命名实体识别中引入BIO标签嵌入，在提升关系抽取性能方面有多有效？
• RQ3 在不平衡设置下，使用排序损失进行关系分类是否优于交叉熵损失？
• RQ4 与SOTA模型相比，所提出的多任务架构在ACE 2005基准上F1分数的提升程度如何？
• RQ5 BIO标签嵌入能否作为通用特征增强，适用于其他关系抽取模型？

主要发现

• 与基线模型相比，所提出的多任务模型在F1分数上实现了1.5%的绝对提升（从61.4%提升至62.9%），证明了联合学习在关系识别中的有效性。
• 在相同的多任务设置下，使用排序损失的关系分类相比交叉熵损失，F1分数高出0.9%（62.9% vs. 62.0%），表明其对不平衡问题具有更强的鲁棒性。
• 引入BIO标签嵌入后，性能显著提升，在ACE 2005中文和英文数据集上相比基线模型实现了超过10%的绝对F1分数提升。
• 该模型在ACE 2005中文和英文版本基准上均优于SOTA方法，证实了其泛化能力。
• 消融实验表明，主要性能增益来自关系识别任务，而非损失函数选择本身，验证了模型设计的合理性。
• BIO标签嵌入特别有效，可作为通用输入表示增强，轻松集成到其他模型中。