[论文解读] Efficient long-distance relation extraction with DG-SpanBERT

Jun Chen, Robert Hoehndorf+2 more|arXiv (Cornell University)|Apr 7, 2020

Topic Modeling参考文献 23被引用 9

一句话总结

该论文提出 DG-SpanBERT，一种新颖的关系抽取模型，结合了 SpanBERT 的上下文嵌入与基于依存树的图卷积网络（GCN），以捕捉长距离句法依赖关系。通过利用 SpanBERT 的跨度级预训练以及在依存结构上基于 GCN 的特征传播，DG-SpanBERT 在 TACRED 基准上实现了 71.5% 的 F1 分数，显著优于所有序列型与依存型模型，尤其在长距离关系上表现突出。

ABSTRACT

In natural language processing, relation extraction seeks to rationally understand unstructured text. Here, we propose a novel SpanBERT-based graph convolutional network (DG-SpanBERT) that extracts semantic features from a raw sentence using the pre-trained language model SpanBERT and a graph convolutional network to pool latent features. Our DG-SpanBERT model inherits the advantage of SpanBERT on learning rich lexical features from large-scale corpus. It also has the ability to capture long-range relations between entities due to the usage of GCN on dependency tree. The experimental results show that our model outperforms other existing dependency-based and sequence-based models and achieves a state-of-the-art performance on the TACRED dataset.

研究动机与目标

• 为解决基于 BERT 的模型在关系抽取中难以捕捉远距离实体之间长距离句法依赖关系的局限性。
• 通过将依存树的结构信息整合到预训练语言模型中，提升关系抽取性能。
• 利用 SpanBERT 在跨度级表示学习方面的优势，增强实体与关系建模能力。
• 构建一个统一架构，结合上下文嵌入与基于图的消息传递机制，实现更优的特征聚合。
• 在 TACRED 数据集上实现最先进性能，尤其在长距离关系样本上表现优异。

提出的方法

• 模型使用 SpanBERT 从输入句子生成上下文嵌入表示，通过跨度掩码与跨度边界目标提升语义理解能力。
• 从输入句子构建依存树，并将该树的邻接矩阵作为输入送入 GCN，以在句法结构上传播与聚合特征。
• GCN 通过对 SpanBERT 的隐藏状态进行图卷积操作，沿句法路径执行消息传递，从而优化表示。
• 通过在 GCN 处理后的特征上进行最大池化操作，获取句子级、主语实体与宾语实体的表示。
• 最终表示通过拼接原始 SpanBERT 句子嵌入与 GCN 增强的特征表示，并经由前馈网络融合。
• 最终分类器使用 Softmax 输出预测的关系标签，通过交叉熵损失进行端到端训练。

实验结果

研究问题

• RQ1 将 SpanBERT 与图卷积网络结合，是否能提升在长距离依赖关系上的关系抽取性能？
• RQ2 DG-SpanBERT 在捕捉不同实体距离下的句法关系方面，相较于序列型与依存型模型表现如何？
• RQ3 将依存树结构与 SpanBERT 的跨度级预训练相结合，是否能带来优于标准 BERT 或 SpanBERT 单独使用的效果？
• RQ4 当主语与宾语相距超过 11 个词时，该模型相较于基线模型的性能提升程度如何？
• RQ5 在依存树上基于 GCN 的消息传递机制，是否能有效增强关系分类的语义特征学习？

主要发现

• DG-SpanBERT 在 TACRED 数据集上实现了 71.5% 的最先进 F1 分数，显著优于所有对比的序列型与依存型模型。
• 在长距离关系（≥11 个词间隔）上，DG-SpanBERT 的平均 F1 达到 58.7，比表现第二好的模型 AGGCN（50.4）高出 8.3 分，优势显著。
• 对于距离 ≥8 个词的关系，DG-SpanBERT 显著优于所有基线模型，证实其在捕捉长距离依赖关系方面的有效性。
• 相较于 base-span BERT 与 SpanBERT 模型，DG-SpanBERT 的 F1 提升至少 2.1 分，表明 GCN 集成具有显著优势。
• DG-SpanBERT 在通用关系抽取上比 Google BERT（large）高出 0.9 F1，在 SpanBERT（large）上高出 0.7 F1，验证了其在通用与长距离关系抽取中的优越性。
• 消融实验证实，通过 GCN 将依存树结构与 SpanBERT 融合，对长距离关系性能至关重要。