[论文解读] Combining Two And Three-Way Embeddings Models for Link Prediction in Knowledge Bases

Alberto García-Durán, Antoine Bordes+2 more|arXiv (Cornell University)|Jun 2, 2015

Complex Network Analysis Techniques被引用 10

一句话总结

该论文提出Tatec，一种新颖的链接预测模型，通过两阶段训练过程——预训练后接线性组合或微调——将双向（如TransE）和三向（如Trigram）知识图谱嵌入模型相结合。通过整合高容量与简单模型，Tatec在四个基准数据集上实现最先进性能，优于单一模型，在频繁和稀有关系上均表现更优。

ABSTRACT

This paper tackles the problem of endogenous link prediction for Knowledge Base completion. Knowledge Bases can be represented as directed graphs whose nodes correspond to entities and edges to relationships. Previous attempts either consist of powerful systems with high capacity to model complex connectivity patterns, which unfortunately usually end up overfitting on rare relationships, or in approaches that trade capacity for simplicity in order to fairly model all relationships, frequent or not. In this paper, we propose Tatec a happy medium obtained by complementing a high-capacity model with a simpler one, both pre-trained separately and then combined. We present several variants of this model with different kinds of regularization and combination strategies and show that this approach outperforms existing methods on different types of relationships by achieving state-of-the-art results on four benchmarks of the literature.

研究动机与目标

• 解决不完整知识库中关系频率与结构差异显著的链接预测挑战。
• 克服模型容量与泛化能力之间的权衡，尤其针对稀有关系。
• 构建统一框架，有效结合高容量与简单嵌入模型，提升多样化关系类型下的性能。
• 评估不同正则化方案（软正则化 vs. 硬正则化）和组合策略（线性组合 vs. 微调）在混合模型中的有效性。
• 在具有不同数据特征的多个基准上，展示所提方法的通用性与鲁棒性。

提出的方法

• 在知识库上分别预训练独立的双向（如TransE）和三向（如Trigram）嵌入模型，使用不同的嵌入空间。
• 在预训练过程中应用软正则化或硬正则化以控制模型复杂度并防止过拟合。
• 通过线性组合策略结合预训练模型，最终得分是各模型得分的加权和。
• 使用联合目标函数端到端微调组合模型，以优化链接预测性能。
• 采用两阶段训练流程：首先分别预训练各组件，然后组合并微调集成模型。
• 引入实体与关系特定的正则化项（如L2、基于边距的正则化），以提升泛化能力，尤其针对低频关系。

实验结果

研究问题

• RQ1 将高容量的双向模型与简单的三向模型结合，是否能提升多样化关系类型下的链接预测性能？
• RQ2 正则化方案选择（软正则化 vs. 硬正则化）是否显著影响组合模型的性能？
• RQ3 预训练模型的线性组合是否足够充分，还是端到端微调组合架构能带来更优结果？
• RQ4 与独立模型相比，该方法在稀有关系上的表现如何？
• RQ5 该混合模型能否在数据稀疏性与关系类型各异的知识库基准上实现有效泛化？

主要发现

• Tatec在四个基准数据集（UMLS、Kinships、FB15k、SVO）上均达到最先进性能，优于单独的双向与三向模型。
• Tatec的线性组合变体（Tatec-linear-comb）表现稳定，最优超参数通过各数据集上的网格搜索确定。
• 软正则化性能略优于硬正则化，尽管两者均有效，但软正则化需多一个超参数。
• 模型在稀有关系与1对1关系上显著提升性能，而独立模型常因过拟合或容量不足而表现欠佳。
• 两阶段训练策略（先预训练后组合）相比从零开始的联合训练，泛化能力更优。
• 消融实验确认，模型组合比单独使用任一组件更有效，尤其在处理数据分布不平衡时。