[论文解读] A Semantic Matching Energy Function for Learning with Multi-relational Data

Xavier Glorot, Antoine Bordes+2 more|arXiv (Cornell University)|Jan 15, 2013

Advanced Graph Neural Networks参考文献 2被引用 32

一句话总结

本文提出了一种语义匹配能量（SME）函数，将实体和关系类型嵌入共享的低维向量空间中，利用神经网络通过关系相关的变换来建模复杂的关联交互。双线性SME变体在链接预测任务中达到最先进性能，尤其在建模如亲属关系网络等复杂关系结构中的三元交互方面表现优异。

ABSTRACT

Large-scale relational learning becomes crucial for handling the huge amounts of structured data generated daily in many application domains ranging from computational biology or information retrieval, to natural language processing. In this paper, we present a new neural network architecture designed to embed multi-relational graphs into a flexible continuous vector space in which the original data is kept and enhanced. The network is trained to encode the semantics of these graphs in order to assign high probabilities to plausible components. We empirically show that it reaches competitive performance in link prediction on standard datasets from the literature.

研究动机与目标

• 解决从噪声大、异构且大规模的多关系数据中学习有意义表征的挑战。
• 在相同的向量空间中建模关系和实体，实现对两者的对称处理，并在关系类型增多时减少参数数量。
• 开发一种基于能量的模型，为有效三元组（主体，关系，客体）分配低能量，捕捉关系图中的结构和语义模式。
• 通过神经网络参数化学习结构化、关系感知的表征，提升链接预测的泛化能力。

提出的方法

• 每个实体和关系类型都被嵌入到共享的d维空间中，通过反向传播学习嵌入表示。
• 能量函数使用依赖于关系类型的关系参数化函数g，计算经过关系变换后的左右实体嵌入之间的匹配得分。
• 提出两种变体：SME（线性），使用线性变换；SME（双线性），使用三模态张量运算以实现更丰富的交互建模。
• 能量通过变换后嵌入的点积计算：E = - (W_l E_lhs^T + W_l2 E_rel^T + b_l^T)^T (W_r E_rhs^T + W_r2 E_rel^T + b_r^T)。
• 训练使用随机梯度下降，采用排名目标，优化正三元组的能量低于负三元组。
• 该模型将关系类型视为与实体相同的向量空间中的向量，从而能够直接将关系建模为实体，反之亦然。

实验结果

研究问题

• RQ1 为实体和关系类型建立统一的嵌入空间是否能改善多关系数据中的表征学习？
• RQ2 将关系作为与实体相同空间中的向量进行建模，对链接预测任务的性能有何影响？
• RQ3 双线性交互机制是否比线性或二元组基模型更好地捕捉复杂的三元关系？
• RQ4 与张量分解和矩阵补全方法相比，所提出的能量函数在预测能力和泛化能力方面表现如何？
• RQ5 该模型在结构化关系数据集中，对已见三元组之外的样本具有多大程度的泛化能力？

主要发现

• SME（双线性）在所有三个基准数据集上均优于SME（线性），在Nations数据集上AUC显著提升8.8%。
• 在Kinships数据集中，SME（双线性）达到AUC 0.894，除RESCAL和CP外优于所有方法，显示出在复杂关系结构中的强大性能。
• 在UMLS数据集中，SME（双线性）达到AUC 0.985，与LFM（0.990）相当，优于RESCAL（0.98）和CP（0.95）。
• 双线性公式在具有复杂三元交互的数据集（如Alyawarra亲属系统）中尤为有效，其中主体、关系和客体之间的联合交互至关重要。
• 与以往模型不同，SME将关系类型视为与实体相同的向量空间中的向量，从而能够直接将关系建模为实体，支持更灵活的关系推理。
• 尽管采用预测性能量函数而非基于重构的训练，该模型在与LFM和RESCAL等基于矩阵的方法对比中仍表现出具有竞争力的性能。