[论文解读] Graph Neural Networks with Generated Parameters for Relation Extraction

Hao Zhu, Yankai Lin+4 more|arXiv (Cornell University)|Feb 2, 2019

Topic Modeling参考文献 29被引用 26

一句话总结

本文提出图神经网络参数生成模型（GP-GNNs），通过从自然语言输入动态生成GNN权重，实现在非结构化文本上的多跳关系推理。通过将文本上下文编码为边参数并执行迭代消息传递，GP-GNN在关系抽取任务上显著优于基线模型，在人工标注和弱监督数据集上均达到当前最优性能，通过多跳推理实现更优表现。

ABSTRACT

Recently, progress has been made towards improving relational reasoning in machine learning field. Among existing models, graph neural networks (GNNs) is one of the most effective approaches for multi-hop relational reasoning. In fact, multi-hop relational reasoning is indispensable in many natural language processing tasks such as relation extraction. In this paper, we propose to generate the parameters of graph neural networks (GP-GNNs) according to natural language sentences, which enables GNNs to process relational reasoning on unstructured text inputs. We verify GP-GNNs in relation extraction from text. Experimental results on a human-annotated dataset and two distantly supervised datasets show that our model achieves significant improvements compared to baselines. We also perform a qualitative analysis to demonstrate that our model could discover more accurate relations by multi-hop relational reasoning.

研究动机与目标

• 使图神经网络能够直接对非结构化自然语言输入执行多跳关系推理，而现有GNN无法直接实现此功能。
• 解决标准GNN在应用于开放域文本时因预定义图结构和固定边类型带来的局限性。
• 开发一种直接从文本上下文生成GNN参数（权重）的框架，实现更丰富、上下文感知的消息传递。
• 验证模型在关系抽取任务中的有效性，特别是在通过推理发现间接或推断关系方面的能力。
• 提供三个新数据集——两个弱监督数据集和一个人工标注数据集——用于基准测试多跳关系抽取模型。

提出的方法

• 从自然语言句子中的实体构建全连接图，将每个实体视为一个节点。
• 采用参数生成模块，将文本上下文编码为GNN的边权重（参数），实现上下文敏感的消息传递。
• 通过多层消息传递机制传播关系信息，每一层捕获更远的跳跃距离。
• 在节点表示上应用分类头，预测目标实体对之间的关系。
• 集成注意力机制，以在消息传递过程中加权不同关系的重要性。
• 使用交叉熵损失进行端到端训练，通过反向传播更新参数。

实验结果

研究问题

• RQ1 GNN能否被适配以直接在非结构化自然语言文本上执行多跳关系推理，而非仅在预定义图上进行？
• RQ2 从文本上下文中生成GNN参数相比固定参数或共现基模型，如何提升推理性能？
• RQ3 增加消息传递层数在多大程度上提升关系抽取准确率，特别是在处理间接或长距离关系时？
• RQ4 模型能否通过中间实体推理发现知识库中未明确陈述的关系？
• RQ5 在鲁棒性和抗噪声能力方面，模型与共现基基线相比表现如何？

主要发现

• 三层GP-GNN在所有数据集上均取得最佳性能，表明更深的推理能力可提升关系抽取准确率。
• GP-GNN在人工标注和弱监督数据集上均显著优于强基线模型（包括Context-Aware RE），尤其在复杂句子上提升明显。
• 模型通过推理中间事实（如“执导”和“原语言”）成功推断出未见关系，例如“吕克·贝松会说英语”。
• 定性分析表明，GP-GNN学习到了逻辑推理模式，如传递推理（例如“所有者”和“位于”可推得“位于”），而共现模型无法捕捉此类关系。
• 模型通过避免依赖关系共现，有效避免了虚假预测；例如，当“位于”为相关关系时，能正确排除“共享边界”。
• 在密集弱监督标注数据集上，三层模型的性能提升幅度大于整体弱监督数据集，表明在高实体密度场景下优势更显著。