[论文解读] Relation Prediction as an Auxiliary Training Objective for Improving Multi-Relational Graph Representations

Yihong Chen, Pasquale Minervini+2 more|arXiv (Cornell University)|Oct 6, 2021

Advanced Graph Neural Networks被引用 7

一句话总结

本文提出了一种自监督的辅助训练目标，将关系预测整合到多关系图表示学习中，从而提升知识库补全（KBC）性能。通过联合训练模型以预测主体、客体和关系，并采用改进的1vsAll目标，该方法在FB15k-237数据集上将实体排序性能提升了最高9.9%（Hits@1）和6.1%（MRR），尤其在高度多关系的数据集以及更大的嵌入维度下表现显著。

ABSTRACT

Learning good representations on multi-relational graphs is essential to knowledge base completion (KBC). In this paper, we propose a new self-supervised training objective for multi-relational graph representation learning, via simply incorporating relation prediction into the commonly used 1vsAll objective. The new training objective contains not only terms for predicting the subject and object of a given triple, but also a term for predicting the relation type. We analyse how this new objective impacts multi-relational learning in KBC: experiments on a variety of datasets and models show that relation prediction can significantly improve entity ranking, the most widely used evaluation task for KBC, yielding a 6.1% increase in MRR and 9.9% increase in Hits@1 on FB15k-237 as well as a 3.1% increase in MRR and 3.4% in Hits@1 on Aristo-v4. Moreover, we observe that the proposed objective is especially effective on highly multi-relational datasets, i.e. datasets with a large number of predicates, and generates better representations when larger embedding sizes are used.

研究动机与目标

• 通过引入一种新的自监督训练目标，提升多关系图表示学习在知识库补全（KBC）中的表现。
• 探究在训练过程中预测关系类型是否能提升下游链接预测性能。
• 评估所提目标在不同KBC模型和具有不同关系复杂度的数据集上的有效性。
• 分析该方法对表示质量的影响，特别是对复杂多对多关系和高度多关系数据集的影响。
• 探索辅助目标是否能提升关系表示的多样性与解耦性。

提出的方法

• 该方法通过在标准1vsAll训练目标中增加一项以预测给定三元组(s, p, o)的关系类型，对原有目标进行扩展。
• 模型联合训练以预测主体、客体和关系，使用结合所有三个组件的联合打分函数。
• 训练目标为自监督，无需额外标注，且与现有KGE模型（如ComplEx-N3和CP-N3）兼容。
• 该方法采用N3正则化，并使用标准KBC指标进行评估：MRR和Hits@1，分别针对(s,p,?)和(?,p,o)查询。
• 采用t-SNE可视化对学习到的实体和关系表示的多样性与聚类情况进行定性分析。
• 超参数基于验证集MRR选择，实验在FB15k-237、Aristo-v4及其他具有不同谓词数量的数据集上进行。

实验结果

研究问题

• RQ1 将关系预测作为辅助目标是否能提升KBC中的多关系图表示学习？
• RQ2 所提目标对实体排序任务的性能影响如何，特别是对MRR和Hits@1的影响？
• RQ3 该改进在具有大量谓词的高多关系数据集上是否更为显著？
• RQ4 该方法是否增强了模型对复杂多对多关系的预测能力？
• RQ5 辅助目标是否能带来更丰富且更清晰分离的关系表示？

主要发现

• 当应用于嵌入维度在2K至4K之间的ComplEx-N3时，所提关系预测目标在FB15k-237上使MRR提升6.1%，Hits@1提升9.9%。
• 在Aristo-v4上，该方法使MRR提升3.1%，Hits@1提升3.4%，表明在多样化数据集上具有持续的性能增益。
• 性能提升在高度多关系数据集上最为显著，表明该方法在存在大量不同关系类型时尤为有效。
• 随着嵌入维度增大，该方法带来更强的性能提升，表明更大的表示容量能更充分地受益于辅助目标。
• 通过t-SNE进行的定性分析显示，关系预测使关系表示的聚类更加清晰且多样化，提升了语义分离度。
• 该方法显著提升了对具有挑战性的多对多关系（如'current_roster'、'founded_in'和'awards_won'）的预测准确率，这些关系通常对标准KGE模型而言较难处理。