[论文解读] Incorporating Relation Paths in Neural Relation Extraction

Wenyuan Zeng, Yankai Lin+2 more|arXiv (Cornell University)|Sep 23, 2016

Topic Modeling参考文献 29被引用 16

一句话总结

该论文提出 PathNRE，一种神经关系抽取模型，通过结合直接句子与间接推理链（即从中间实体推导出的关系）来增强关系预测。通过使用基于路径的编码器与卷积神经网络（CNNs）建模多跳路径中的关系语义，该模型在强基线模型上实现了显著且一致的性能提升，尤其在噪声环境下表现出更强的鲁棒性与零样本设置下的有效性。

ABSTRACT

Distantly supervised relation extraction has been widely used to find novel relational facts from plain text. To predict the relation between a pair of two target entities, existing methods solely rely on those direct sentences containing both entities. In fact, there are also many sentences containing only one of the target entities, which provide rich and useful information for relation extraction. To address this issue, we build inference chains between two target entities via intermediate entities, and propose a path-based neural relation extraction model to encode the relational semantics from both direct sentences and inference chains. Experimental results on real-world datasets show that, our model can make full use of those sentences containing only one target entity, and achieves significant and consistent improvements on relation extraction as compared with baselines. The source code of this paper can be obtained from https: //github.com/thunlp/PathNRE.

研究动机与目标

• 解决现有神经关系抽取模型仅依赖同时包含目标实体的句子所带来的局限性。
• 通过中间实体构建推理链，利用仅包含一个目标实体的句子。
• 通过整合间接关系证据，提升对噪声 distant supervision 的鲁棒性。
• 通过学习的路径表征实现零样本关系预测。

提出的方法

• 使用卷积神经网络（CNNs）对直接和间接句子中的句子级语义进行编码。
• 构建关系路径编码器，用于计算给定中间实体链下关系的概率。
• 通过加权融合机制结合直接句子表示与推理路径表示，完成最终预测。
• 采用最大池化与随机初始化（rand/max）策略，以增强特征学习与模型泛化能力。
• 在 distant supervision 数据上端到端训练模型，使用交叉熵损失函数。
• 应用 softmax 函数对多步推理链中的不确定性进行建模，实现路径上的概率推理。

实验结果

研究问题

• RQ1 建模间接关系路径是否能超越直接句子监督，提升神经关系抽取性能？
• RQ2 在 distant supervision 噪声水平增加的情况下，引入推理链如何影响模型的鲁棒性？
• RQ3 学习到的路径表征在实体从未共现于同一句子的零样本关系预测中是否具备泛化能力？
• RQ4 路径特征在捕捉关系相关性方面，相较于单句特征的优越程度如何？
• RQ5 模型在多跳推理中能否通过概率路径推理有效捕捉不确定或非显式关系？

主要发现

• Path+rand/max 模型在所有测试设置下均取得最高性能，优于多个强基线模型在真实数据集上的表现。
• 即使在噪声水平持续增加的情况下，Path+rand/max 的性能下降幅度显著小于其他模型，证明其具备更强的鲁棒性。
• 在零样本评估中，Path+max 特征达到 60.4% 的准确率，优于 CNN+max（57.3%）与 CNN+rand（56.9%），展现出更优的泛化能力。
• 案例研究证实，即使关系未被明确陈述，该模型仍能通过间接推理链正确预测如 'spouse' 和 'shares border' 等关系。
• 模型通过基于 softmax 的路径概率估计，有效捕捉多跳推理中的不确定性，从而在模糊情况下实现可靠预测。
• 结果验证了通过路径建模关系相关性，可生成比单一句子编码更丰富且可迁移的特征。