[论文解读] MDE: Multiple Distance Embeddings for Link Prediction in Knowledge Graphs

Afshin Sadeghi, Damien Graux+2 more|arXiv (Cornell University)|May 25, 2019

Advanced Graph Neural Networks参考文献 37被引用 8

一句话总结

MDE 提出了一种新颖的知识图谱嵌入模型，通过使用多个独立的距离项来捕捉对称、反对称、逆关系和组合关系模式，从而克服了 TransE 及相关模型的局限性。通过采用基于极限的损失函数和神经网络框架，MDE 在链接预测基准测试中实现了最先进性能，尤其在 FB15k-237 上对组合模式的建模表现出色。

ABSTRACT

Over the past decade, knowledge graphs became popular for capturing structured domain knowledge. Relational learning models enable the prediction of missing links inside knowledge graphs. More specifically, latent distance approaches model the relationships among entities via a distance between latent representations. Translating embedding models (e.g., TransE) are among the most popular latent distance approaches which use one distance function to learn multiple relation patterns. However, they are mostly inefficient in capturing symmetric relations since the representation vector norm for all the symmetric relations becomes equal to zero. They also lose information when learning relations with reflexive patterns since they become symmetric and transitive. We propose the Multiple Distance Embedding model (MDE) that addresses these limitations and a framework to collaboratively combine variant latent distance-based terms. Our solution is based on two principles: 1) we use a limit-based loss instead of a margin ranking loss and, 2) by learning independent embedding vectors for each of the terms we can collectively train and predict using contradicting distance terms. We further demonstrate that MDE allows modeling relations with (anti)symmetry, inversion, and composition patterns. We propose MDE as a neural network model that allows us to map non-linear relations between the embedding vectors and the expected output of the score function. Our empirical results show that MDE performs competitively to state-of-the-art embedding models on several benchmark datasets.

研究动机与目标

• 解决 TransE 及类似模型在知识图谱中难以有效捕捉对称、逆关系和组合关系模式的问题。
• 克服现有基于距离的模型中对称关系的零范数表示问题，以及反身关系强制对称性和传递性的问题。
• 提出一个统一框架，通过基于极限的损失函数组合多个独立的距离项，以提升泛化能力和表达能力。
• 引入基于神经网络的极限损失公式化方法，以学习边缘阈值中的非线性模式，增强模型灵活性。
• 证明每个距离项的独立向量表示不会降低性能，反而提升建模能力与链接预测准确率。

提出的方法

• 提出多距离嵌入（MDE），一种基于平移的模型，为每个距离项（S1–S4）维护独立的嵌入向量，从而实现对不同关系模式的独立建模。
• 采用基于极限的损失函数而非边际排序损失，其中极限在训练过程中动态更新，以提升泛化能力。
• 将损失函数嵌入神经网络架构中，以支持对极限值的非线性学习，增强对复杂关系结构的适应能力。
• 引入自对抗负采样机制，以提升训练稳定性并改善大规模知识图谱中困难负样本的覆盖度。
• 整合多个得分函数（S1–S4），分别代表实体-关系关系的不同几何视角，包括对称、反对称和逆关系模式。
• 使用反向传播端到端训练模型，实现所有组件的联合优化，同时保持各独立项的可解释性。

实验结果

研究问题

• RQ1 与单距离模型相比，知识图谱嵌入模型中使用多个独立距离项是否能更好地建模对称、反对称、逆关系和组合关系模式？
• RQ2 与固定边际排序损失相比，使用可学习的非固定极限是否能提升损失函数的泛化能力与链接预测任务的性能？
• RQ3 不同距离项的独立向量表示是否能共存而不降低性能？它们是否共同提升链接预测准确率？
• RQ4 基于神经网络的极限损失公式化方法如何促进对关系结构中复杂非线性模式的学习？
• RQ5 MDE 在专门用于测试组合模式推理的基准测试中，相较于最先进模型，其性能提升程度如何？

主要发现

• MDE 在 FB15k-237 基准测试中超越了最先进模型，尤其在组合模式建模方面表现卓越，Hit@10 得分为 0.946，MRR 为 0.844。
• 消融实验表明，移除 S4（反对称模式建模）对性能影响最大，表明其在模型成功中的关键作用。
• S4 单独在 WN18RR 和 FB15k-237 上均取得最佳个体性能，Hit@10 分别为 0.467 和 0.273，MRR 分别为 0.273 和 0.273。
• 自对抗负采样机制的引入提升了 MRR 和 Hit@10 得分，尤其在 FB15k-237 上表现更优，归因于对困难负样本的更好覆盖。
• 尽管 S2 个体表现最差，但其移除仍导致性能下降，表明其捕捉了其他项未能捕获的稀有但有用的关联模式。
• 采用自对抗采样的 MDE（MDE adv）在 FB15k-237 上取得更优结果，超越 RotatE 及其他最先进模型，尤其在 MRR 和 Hit@10 指标上表现突出。