[论文解读] Double Graph Based Reasoning for Document-level Relation Extraction

Shuang Zeng, Runxin Xu+2 more|arXiv (Cornell University)|Sep 29, 2020

Topic Modeling参考文献 35被引用 12

一句话总结

该论文提出图聚合与推理网络（GAIN），一种用于文档级关系抽取的双图方法，通过异构提及级图（hMG）捕捉文档感知上下文，并利用具有新颖路径推理机制的实体级图（EG）推断多跳关系。GAIN在DocRED基准上相比之前的 SOTA 模型 F1 提升了 2.85，展现出在跨句关系与逻辑推理关系上的优越性能。

ABSTRACT

Document-level relation extraction aims to extract relations among entities within a document. Different from sentence-level relation extraction, it requires reasoning over multiple sentences across a document. In this paper, we propose Graph Aggregation-and-Inference Network (GAIN) featuring double graphs. GAIN first constructs a heterogeneous mention-level graph (hMG) to model complex interaction among different mentions across the document. It also constructs an entity-level graph (EG), based on which we propose a novel path reasoning mechanism to infer relations between entities. Experiments on the public dataset, DocRED, show GAIN achieves a significant performance improvement (2.85 on F1) over the previous state-of-the-art. Our code is available at https://github.com/DreamInvoker/GAIN .

研究动机与目标

• 解决句子级关系抽取在捕捉跨句关系与逻辑推理关系方面的局限性。
• 克服文档级关系抽取中的挑战，包括长距离依赖、指代消解与隐式关系推理。
• 设计一种显式地通过结构化图表示对实体间多跳路径进行推理的模型。
• 提升在复杂、跨句及逻辑依赖关系实例上的文档级关系抽取性能。

提出的方法

• 构建一个包含提及与文档节点的异构提及级图（hMG），并设计三种边类型：实体内边、实体间边与文档边，以建模跨句上下文。
• 在 hMG 上应用图卷积网络（GCN），为每个提及生成文档感知表示。
• 通过合并 hMG 中指向同一实体的提及，构建实体级图（EG），以支持实体级推理。
• 提出一种路径推理机制，利用注意力机制选择性地融合实体对之间所有可能路径的信息。
• 将基于 BERT 的上下文嵌入与基于图的表示进行融合，以增强特征学习。
• 使用 DocRED 数据集上的交叉熵损失端到端训练模型进行关系分类。

实验结果

研究问题

• RQ1 双图架构能否有效建模文档级关系抽取中的长距离依赖与文档级上下文？
• RQ2 在实体级图上进行显式路径推理如何提升对多跳与逻辑依赖关系的推理性能？
• RQ3 所提方法在跨句与推理密集型关系实例上的表现相比现有模型提升程度如何？
• RQ4 文档感知的提及表示与路径推理机制对整体性能的贡献分别是什么？

主要发现

• GAIN 在 DocRED 基准上相比之前的 SOTA 模型实现了 2.85 的 F1 分数提升。
• 该模型在跨句关系抽取任务上显著优于基线模型，其中 53.5% 的先前错误得以纠正。
• GAIN 在逻辑推理任务中表现强劲，相比 BiLSTM 在推理密集型案例中将错误率降低了 21.0%。
• 消融实验证实，异构提及级图与路径推理机制对性能提升均至关重要。
• 基于注意力的路径融合机制优于基于游走的方法，且避免了超参数调优的开销。
• 该模型成功通过跨句的多跳推理推断出 'Without Me' 与 'The Eminem Show' 具有相同的表演者与发行日期。