[论文解读] A Structural Representation Learning for Multi-relational Networks

Xin Li, Huiting Hong+2 more|arXiv (Cornell University)|May 16, 2018

Advanced Graph Neural Networks参考文献 23被引用 3

一句话总结

本文提出多关系网络嵌入（MNE），一种新颖的多关系网络结构表示学习模型，能够显式保留现有方法常忽略的三角形与平行四边形连通模式。通过用灵活的目标函数替代硬性约束 $h + r = t$，MNE 在知识图谱基准数据集上表现优异，超越了如 TransE 和 LINE 等最先进方法，尤其在结构复杂度较高的网络中表现突出。

ABSTRACT

Most of the existing multi-relational network embedding methods, e.g., TransE, are formulated to preserve pair-wise connectivity structures in the networks. With the observations that significant triangular connectivity structures and parallelogram connectivity structures found in many real multi-relational networks are often ignored and that a hard-constraint commonly adopted by most of the network embedding methods is inaccurate by design, we propose a novel representation learning model for multi-relational networks which can alleviate both fundamental limitations. Scalable learning algorithms are derived using the stochastic gradient descent algorithm and negative sampling. Extensive experiments on real multi-relational network datasets of WordNet and Freebase demonstrate the efficacy of the proposed model when compared with the state-of-the-art embedding methods.

研究动机与目标

• 解决现有多关系网络嵌入方法依赖硬性约束 $h + r = t$ 所导致的局限性，该约束无法捕捉如三角形与平行四边形等复杂结构模式。
• 开发一种更具弹性的表示学习框架，以隐式保留多关系网络中的高阶连通结构。
• 提升在知识图谱任务（如三元组分类与链接预测）中的性能，特别是在具有密集三角形连通性的网络中。
• 通过随机梯度下降与负采样实现可扩展学习，支持大规模网络嵌入。

提出的方法

• 提出一种新目标函数，通过建模实体与关系之间的几何关系，隐式保留三角形与平行四边形连通结构，而无需强制执行 $h + r = t$。
• 基于向量加法设计一种桥接函数以建模结构模式，相比刚性翻译模型，可实现更灵活且精确的嵌入。
• 采用带负采样的随机梯度下降以降低计算成本，并支持大规模网络的扩展。
• 引入 ${M ext{NE}}^{+}$，即 MNE 的增强版本，通过优化训练动态进一步提升性能。
• 将每个（头实体，关系，尾实体）三元组视为正样本，并通过破坏头实体或尾实体生成负样本。
• 在学习到的嵌入上应用逻辑回归分类器，用于下游链接预测与三元组分类任务的评估。

实验结果

研究问题

• RQ1 多关系网络嵌入模型能否有效捕捉现有方法常忽略的三角形连通结构？
• RQ2 将硬性约束 $h + r = t$ 替换为更灵活的目标函数，是否能提升表示质量与泛化能力？
• RQ3 所提模型在具有不同结构复杂度的真实世界知识图谱（如 WordNet 与 Freebase）上的表现如何？
• RQ4 该模型在保持高精度的前提下，可扩展至多大规模的网络？
• RQ5 该模型在三元组分类与链接预测任务中，能否超越如 TransE 与 LINE 等最先进方法？

主要发现

• MNE 在 WN18 与 FB15K 数据集上的三元组分类与链接预测任务中，始终优于所有基线方法，包括 TransE、TransH 与 LINE。
• 所提出的 ${M ext{NE}}^{+}$ 模型在所有设置下均达到最高性能，展现出更优的泛化能力与鲁棒性。
• 当三角形结构比例增加时，MNE 仍能保持高精度，而 TransE 与 TransH 在相同条件下表现出显著性能下降。
• MNE 在较低嵌入维度（约 20）即可收敛至最优性能，而其他方法需至少 100 维才能获得良好结果，表明其表示更紧凑且高效。
• 负采样支持可扩展训练，使 MNE 能够高效处理大规模网络，且不损失性能。