[论文解读] Knowledge Graph Embedding with Multiple Relation Projections

Kien Do, Truyen Tran+1 more|arXiv (Cornell University)|Jan 26, 2018

Advanced Graph Neural Networks参考文献 24被引用 4

一句话总结

该论文提出 TransF，一种知识图谱嵌入方法，通过使用共享基子空间来建模关系投影，显著降低了计算成本，并在高关系设置下提升了鲁棒性。通过将特定于关系的投影矩阵分解为低秩基张量和特定于关系的坐标，TransF 在链接预测任务上实现了最先进性能，在 N-to-1/1-to-N 关系的头实体/尾实体预测上相比先前方法分别提升了 9%/5%。

ABSTRACT

Knowledge graphs contain rich relational structures of the world, and thus complement data-driven machine learning in heterogeneous data. One of the most effective methods in representing knowledge graphs is to embed symbolic relations and entities into continuous spaces, where relations are approximately linear translation between projected images of entities in the relation space. However, state-of-the-art relation projection methods such as TransR, TransD or TransSparse do not model the correlation between relations, and thus are not scalable to complex knowledge graphs with thousands of relations, both in computational demand and in statistical robustness. To this end we introduce TransF, a novel translation-based method which mitigates the burden of relation projection by explicitly modeling the basis subspaces of projection matrices. As a result, TransF is far more light weight than the existing projection methods, and is robust when facing a high number of relations. Experimental results on the canonical link prediction task show that our proposed model outperforms competing rivals by a large margin and achieves state-of-the-art performance. Especially, TransF improves by 9%/5% in the head/tail entity prediction task for N-to-1/1-to-N relations over the best performing translation-based method.

研究动机与目标

• 解决现有关系投影方法（如 TransR 和 TransD）在包含数千种关系的知识图谱中面临的可扩展性和统计效率低下问题。
• 建模关系之间的潜在相关性（如 'nationality' 与 'place-of-birth'），这些关系当前方法因采用逐关系投影设计而被忽略。
• 在保持或提升预测性能的同时，减少特定于关系的投影矩阵带来的计算和参数负担。
• 实现在关系多样性高的复杂知识图谱中更鲁棒、更高效的链接预测。

提出的方法

• 将特定于关系的投影矩阵分解为关系特定坐标矩阵与共享基张量的乘积，从而减少参数数量。
• 将关系投影空间建模为一组固定矩阵基向量的线性组合，实现投影矩阵的低秩表示。
• 在所有关系间使用共享基张量，每个关系的投影由其在基空间中的唯一坐标向量定义。
• 实体嵌入通过这些学习到的基投影被映射到关系空间，随后应用类似于 TransE 的基于翻译的推理。
• 能量函数强制约束：投影后的头实体嵌入加上关系向量近似等于投影后的尾实体嵌入：$\|\mathbf{h}_\perp + \mathbf{r} - \mathbf{t}_\perp\|_{\ell_1/2}$。
• 使用负采样和随机优化进行端到端训练，以最小化正样本三元组的能量。

实验结果

研究问题

• RQ1 关系投影矩阵的低秩基分解是否能提升知识图谱嵌入中的可扩展性和鲁棒性？
• RQ2 通过共享基子空间建模关系间的潜在相关性，是否能提升链接预测任务的性能？
• RQ3 与最先进方法（如 TransR、TransD 和 TransSparse）相比，TransF 在性能和计算效率方面表现如何？
• RQ4 在 N-to-1 和 1-to-N 关系上，TransF 是否能保持高性能，而这些关系正是先前方法的难点？

主要发现

• TransF 在 Freebase 和 WordNet 数据集上的链接预测任务中实现了最先进性能。
• 在 N-to-1 和 1-to-N 关系上，TransF 相比表现最佳的基于翻译的方法，头实体预测提升 9%，尾实体预测提升 5%。
• 与 TransR 和 TransD 相比，该模型显著减少了参数数量和计算成本，因其在所有关系间共享一组小型基矩阵。
• 对学习到的关系嵌入进行可视化，证实 TransF 捕捉到了有意义的关系间结构相关性，例如 'nationality' 与 'place-of-birth'。
• 当扩展到包含数千种关系的知识图谱时，TransF 展现出更优的统计鲁棒性，优于那些独立处理每种关系的方法。