[论文解读] Entity and Evidence Guided Relation Extraction for DocRED

Kevin Huang, Guangtao Wang+2 more|arXiv (Cornell University)|Aug 27, 2020

Topic Modeling参考文献 30被引用 8

一句话总结

该论文提出E2GRE，一种用于文档级关系抽取的联合框架，通过使用实体引导的输入序列和基于注意力的证据监督，增强预训练语言模型（如BERT）。通过将每个实体附加到文档末尾，并利用内部注意力概率进行证据预测，E2GRE在关系抽取和证据定位两方面均取得提升，在DocRED基准的所有指标上达到最先进性能。

ABSTRACT

Document-level relation extraction is a challenging task which requires reasoning over multiple sentences in order to predict relations in a document. In this paper, we pro-pose a joint training frameworkE2GRE(Entity and Evidence Guided Relation Extraction)for this task. First, we introduce entity-guided sequences as inputs to a pre-trained language model (e.g. BERT, RoBERTa). These entity-guided sequences help a pre-trained language model (LM) to focus on areas of the document related to the entity. Secondly, we guide the fine-tuning of the pre-trained language model by using its internal attention probabilities as additional features for evidence prediction.Our new approach encourages the pre-trained language model to focus on the entities and supporting/evidence sentences. We evaluate our E2GRE approach on DocRED, a recently released large-scale dataset for relation extraction. Our approach is able to achieve state-of-the-art results on the public leaderboard across all metrics, showing that our E2GRE is both effective and synergistic on relation extraction and evidence prediction.

研究动机与目标

• 解决文档级关系抽取的挑战，其中关系跨越多个句子，需要长距离推理。
• 克服预训练语言模型（PLMs）在长文档中因对所有内容均匀关注而导致难以聚焦于相关实体和证据句子的局限。
• 通过联合训练结合实体和注意力引导的监督，同时提升关系抽取和证据预测的性能。
• 通过显式识别支持性证据句子，实现更具可解释性的关系抽取。

提出的方法

• 对于每个文档，通过将每个命名实体拼接到文档开头，生成N_e个实体引导的输入序列，使PLM在微调过程中能够聚焦于特定实体的上下文。
• 使用BERT最后l层的内部注意力概率作为额外特征，以指导证据预测，增强模型定位相关支持句子的能力。
• 使用实体引导序列和基于注意力的特征，联合训练关系抽取和证据预测模型，实现多任务学习。
• 利用注意力机制突出显示不仅包括头实体和尾实体，还包括连接句子间关系信息的桥梁短语和证据句子。
• 通过联合目标端到端优化模型，平衡关系预测和证据句子识别。
• 通过消融研究分析实体引导和基于注意力的证据监督的贡献，并评估使用不同BERT层数量提取注意力特征的影响。

实验结果

研究问题

• RQ1 实体引导的输入序列是否能通过聚焦注意力于相关实体，提升预训练语言模型在文档级关系抽取中的性能？
• RQ2 将BERT层的内部注意力概率作为监督信号，是否能增强证据句子预测，从而提升关系抽取性能？
• RQ3 关系抽取与证据预测的联合训练如何影响文档级RE的整体模型性能？
• RQ4 用于提取基于注意力的特征进行证据预测时，使用多少BERT层为最优？
• RQ5 E2GRE在多大程度上通过识别支持性证据句子提升了可解释性？

主要发现

• 在DocRED验证集上，E2GRE的关系抽取F1得分为58.72%，比BERT+联合训练基线高出4.18个百分点。
• 仅使用实体引导组件，F1得分相比基线提升2.5个百分点，证明其在聚焦模型关注相关实体方面的有效性。
• 加入基于证据的训练后，F1得分进一步提升1.7个百分点，表明基于注意力的监督能同时增强证据预测和关系抽取性能。
• 证据预测F1从基线的42.49%提升至E2GRE的47.14%，表明该方法通过识别正确的支持句子增强了可解释性。
• 使用6层注意力概率的证据预测F1为46.90，略低于3层的47.12，尽管提升微小，但表明中间层可能最具信息量。
• 可视化结果证实，E2GRE为证据句子和桥梁短语（如'protagonist'和'involves'）分配了更高的注意力权重，这些短语连接了跨句子的头实体和尾实体。