[论文解读] Learning Multi-Relational Semantics Using Neural-Embedding Models

Bishan Yang, Wen-tau Yih+3 more|arXiv (Cornell University)|Nov 14, 2014

Topic Modeling参考文献 30被引用 21

一句话总结

本文提出了一种使用神经网络的多关系知识嵌入统一框架，比较了关系运算符与实体表示方法。研究发现双线性交互和预训练短语向量显著提升了性能，通过结合双线性打分函数与非线性投影及短语向量初始化，提出了一种新的最先进模型，在Freebase上实现了73.2%的HITS@10性能。

ABSTRACT

In this paper we present a unified framework for modeling multi-relational representations, scoring, and learning, and conduct an empirical study of several recent multi-relational embedding models under the framework. We investigate the different choices of relation operators based on linear and bilinear transformations, and also the effects of entity representations by incorporating unsupervised vectors pre-trained on extra textual resources. Our results show several interesting findings, enabling the design of a simple embedding model that achieves the new state-of-the-art performance on a popular knowledge base completion task evaluated on Freebase.

研究动机与目标

• 在统一框架下统一并比较近期的神经嵌入模型，用于多关系知识库补全。
• 研究不同关系运算符设计（线性与双线性）对模型性能与可扩展性的影响。
• 评估各种实体表示策略的有效性，包括词向量平均与预训练短语向量。
• 识别能提升未见关系上泛化能力与预测准确性的最优架构选择。
• 开发一种简单但高度有效的模型，超越现有最先进方法。

提出的方法

• 该框架使用打分函数 G_r(y_e1, y_e2) 对每个关系三元组 (e1, r, e2) 建模，其中 y_e1 和 y_e2 是通过神经网络投影学习到的低维实体表示。
• 关系打分函数通过线性（g_r^a）与双线性（g_r^b）变换形式化，分别由矩阵 A_r 与 B_r 参数化。
• 模型采用两层架构：首先，通过可学习矩阵 W 将输入实体索引嵌入为稠密向量；其次，关系特定函数计算有效性得分。
• 关键变体包括 DistMult（使用对角矩阵的双线性）、TransE（加法型的向量平移），以及引入非线性激活（tanh）与预训练短语向量初始化的扩展。
• 使用标准指标评估性能：MRR、HITS@10 与 MAP，类型过滤在 FB15k-401 与 WordNet 等基准数据集上进行。
• 消融研究分离了模型复杂度、组合操作（乘法与加法）与初始化策略的影响。

实验结果

研究问题

• RQ1 不同的关系运算符设计（线性、双线性或其组合）如何影响多关系嵌入模型的性能与可扩展性？
• RQ2 在建模实体交互时，乘法（双线性）与加法（平移）操作的相对影响是什么？
• RQ3 与使用预训练词嵌入的词向量平均相比，使用预训练短语向量初始化实体向量是否能提升性能？
• RQ4 是否可以设计一种参数更少的简单模型，在知识库补全任务中超越更复杂的架构？
• RQ5 在评估过程中引入实体类型信息，如何影响模型性能与泛化能力？

主要发现

• 参数更少的模型在性能与可扩展性方面始终优于更复杂的模型，表明模型简洁性有助于提升泛化能力。
• 双线性运算符在捕捉复杂实体交互方面起着关键作用，DistMult（双线性）在所有数据集与关系类型上显著优于 TransE（加法型）。
• 对于建模关系，尤其是 1 对 1 与 n 对 1 关系，乘法操作（如逐元素点积）优于加法操作（如带偏置的减法）。
• 使用 1000 维预训练短语向量（如 word2vec 所得）初始化实体向量，可将性能提升至 73.2% HITS@10；而使用预训练嵌入的词向量平均则导致性能下降。
• 所提出的 DistMult-tanh-EV-init 模型在 Freebase 上实现了新的最先进结果，HITS@10 达到 73.2%，优于 TransE 的 54.7% 与其他基线模型。
• 在实体投影层中引入非线性激活（tanh）使 HITS@10 性能相比基线 DistMult 提升 4.8%，尤其在结合短语向量初始化时效果更显著。