[论文解读] Learning to Exploit Long-term Relational Dependencies in Knowledge Graphs

Lingbing Guo, Zequn Sun+1 more|arXiv (Cornell University)|May 13, 2019

Advanced Graph Neural Networks被引用 106

一句话总结

RSNs 从关系路径中学习，使用跳过机制来捕捉知识图谱中的长期依赖，从而实现更好的跨KG实体对齐并具备竞争力的 KG 完成。

ABSTRACT

We study the problem of knowledge graph (KG) embedding. A widely-established assumption to this problem is that similar entities are likely to have similar relational roles. However, existing related methods derive KG embeddings mainly based on triple-level learning, which lack the capability of capturing long-term relational dependencies of entities. Moreover, triple-level learning is insufficient for the propagation of semantic information among entities, especially for the case of cross-KG embedding. In this paper, we propose recurrent skipping networks (RSNs), which employ a skipping mechanism to bridge the gaps between entities. RSNs integrate recurrent neural networks (RNNs) with residual learning to efficiently capture the long-term relational dependencies within and between KGs. We design an end-to-end framework to support RSNs on different tasks. Our experimental results showed that RSNs outperformed state-of-the-art embedding-based methods for entity alignment and achieved competitive performance for KG completion.

研究动机与目标

• 激发对 KG 嵌入的思考，不局限于三元组层面的学习，以捕捉长期关系依赖。
• 开发一种路径级嵌入方法，利用关系路径而不仅仅是一跳邻居。
• 提出循环跳过网络（RSNs），使用跳过/残差机制在路径建模中强调主语实体。
• 设计一个端到端的 RSN 框架，包括带偏差的路径采样和基于类型的负采样。
• 通过实证证明 RSNs 在实体对齐任务上优于最先进方法，并在 KG 完成任务中具有竞争力。

提出的方法

• 引入基于关系路径的学习和 RSNs，在预测对象实体时应用类残差的跳过以纳入主体实体。
• 通过对实体和关系进行区分并将跳过应用于从实体输入到对象预测的过程，使用 RSNs 来建模关系路径。
• 使用带偏差的随机游走来采样深层和跨KG的关系路径以用于训练。
• 使用基于类型的噪声对比估计（NCE）以高效训练 RSNs，并从实体或关系词汇中产生负样本。
• 添加逆关系以增强连通性并实现跨KG路径传播。

实验结果

研究问题

• RQ1 基于关系路径的嵌入与 RSNs 能否在跨多个KG的实体对齐任务中超越基于三元组的 KG 嵌入？
• RQ2 带偏差的深度感知和跨KG偏置随机游走是否能改善对齐信息的传播和嵌入质量？
• RQ3 在从关系路径学习时，RSNs 是否能与最先进的 KG 完成模型相竞争？
• RQ4 路径基方法是否在长尾实体和跨领域 KG 集成方面具有优势？

主要发现

• RSNs 在实体对齐基准测试中优于最先进的基于嵌入的方法。
• 跨 KG 的带偏置随机游走在对齐性能上优于不带偏置的 RSNs。
• RSNs 实现了具有竞争力的 KG 完成结果，通常超过平移模型并接近专业的 KG 完成模型。
• RSNs 展现出比标准 RNNs/RRNs 在关系路径建模中的更快收敛和更好的优化行为。
• 使用 RSNs 的路径学习在 Hits@1 和 MRR 上显示出更大的提升，表明顶级预测更强。