[论文解读] Connecting the Dots: Document-level Neural Relation Extraction with Edge-oriented Graphs

Fenia Christopoulou, Makoto Miwa+1 more|arXiv (Cornell University)|Aug 31, 2019

Topic Modeling参考文献 43被引用 6

一句话总结

本文提出一种面向边缘的图神经网络用于文档级关系抽取，通过实体、提及、句子等异质节点之间的独特边表示来建模关系，而非依赖节点级表示。该方法采用基于多实例学习的迭代边推理机制，在两个生物医学数据集上实现了化学-疾病与基因-疾病关系抽取的最先进性能。

ABSTRACT

Document-level relation extraction is a complex human process that requires logical inference to extract relationships between named entities in text. Existing approaches use graph-based neural models with words as nodes and edges as relations between them, to encode relations across sentences. These models are node-based, i.e., they form pair representations based solely on the two target node representations. However, entity relations can be better expressed through unique edge representations formed as paths between nodes. We thus propose an edge-oriented graph neural model for document-level relation extraction. The model utilises different types of nodes and edges to create a document-level graph. An inference mechanism on the graph edges enables to learn intra- and inter-sentence relations using multi-instance learning internally. Experiments on two document-level biomedical datasets for chemical-disease and gene-disease associations show the usefulness of the proposed edge-oriented approach.

研究动机与目标

• 解决基于节点的图模型在捕捉文档级关系抽取中跨句子复杂长距离关系方面的局限性。
• 通过具有不同节点类型与边类型的异质文档图，同时建模句内与句间关系。
• 通过聚焦于编码实体提及之间上下文依赖的独特边表示，提升关系推理能力。
• 利用同一实体的多个提及进行多实例学习，以增强低资源场景下的鲁棒性与泛化能力。

提出的方法

• 构建文档级图，其中节点代表实体、提及或句子，边基于共现与句法依存等启发式规则生成。
• 定义不同类型的边（如提及到实体、提及到句子、句子到句子），以编码多样的关系与依赖。
• 使用迭代边聚合机制，通过连接节点间的信息传播更新边表示，实现上下文推理。
• 通过将同一实体的多个提及视为一个“包”来应用多实例学习，使模型能基于最具信息量的提及对进行关系预测。
• 使用边级别预测的交叉熵损失进行训练，并引入注意力机制以加权不同路径的重要性。
• 采用门控机制更新边表示，结合源节点与目标节点的特征，并通过学习到的注意力权重进行融合。

实验结果

研究问题

• RQ1 面向边缘的图神经网络是否能在文档级关系抽取中超越传统的基于节点的模型？
• RQ2 使用异质节点与边类型在建模句内与句间依赖方面有多有效？
• RQ3 在生物医学文档中，对同一实体的多个提及进行多实例学习在多大程度上提升了关系预测的准确率？
• RQ4 在复杂多句关系中，边表示是否比节点表示更能捕捉长距离依赖？
• RQ5 通过独特边路径建模关系是否能提升文档级生物医学关系抽取基准上的F1值与精确率？

主要发现

• 所提出的面向边缘的模型在两个生物医学文档级关系抽取数据集上达到最先进性能：CDR用于化学-疾病关系，GAD用于基因-疾病关系。
• 与强基线相比，该模型在CDR数据集上F1值最高提升3.2%，在GAD数据集上提升2.1%，证明了基于边的推理方法的有效性。
• 使用异质节点（实体、提及、句子）与边类型显著增强了模型捕捉复杂语篇级依赖的能力。
• 对多个提及实施多实例学习可提升精确率与F1值，尤其在句内关系上表现更优，表明提及级监督有助于提升泛化能力。
• 消融实验确认，迭代边聚合机制对于捕捉跨句子的长距离依赖至关重要。
• 模型在处理实体别名与指代消解方面表现出鲁棒性，体现在涉及同一实体多个提及的关系上性能提升。