[论文解读] Generalized Relation Learning with Semantic Correlation Awareness for Link Prediction

Yao Zhang, Xu Zhang+6 more|arXiv (Cornell University)|Dec 22, 2020

Advanced Graph Neural Networks参考文献 39被引用 5

一句话总结

本文提出广义关系学习（GRL）框架，通过利用关系之间的语义相关性，提升在关系分布不平衡及未见（零样本）关系上的链接预测性能。通过使用注意力机制融合关系嵌入并结合分类感知损失，GRL增强了语义相似关系在向量空间中的接近度，提升了泛化能力，显著改善了DistMult和ConvE等基础模型在多样本、少样本及零样本关系上的表现。

ABSTRACT

Developing link prediction models to automatically complete knowledge graphs has recently been the focus of significant research interest. The current methods for the link prediction taskhavetwonaturalproblems:1)the relation distributions in KGs are usually unbalanced, and 2) there are many unseen relations that occur in practical situations. These two problems limit the training effectiveness and practical applications of the existing link prediction models. We advocate a holistic understanding of KGs and we propose in this work a unified Generalized Relation Learning framework GRL to address the above two problems, which can be plugged into existing link prediction models. GRL conducts a generalized relation learning, which is aware of semantic correlations between relations that serve as a bridge to connect semantically similar relations. After training with GRL, the closeness of semantically similar relations in vector space and the discrimination of dissimilar relations are improved. We perform comprehensive experiments on six benchmarks to demonstrate the superior capability of GRL in the link prediction task. In particular, GRL is found to enhance the existing link prediction models making them insensitive to unbalanced relation distributions and capable of learning unseen relations.

研究动机与目标

• 解决现有链接预测模型在处理关系分布不平衡及未见（零样本）关系时的局限性。
• 通过使少样本和零样本关系受益于语义上相似的已见关系，提升模型泛化能力。
• 开发一种即插即用的框架，无需对基础模型进行架构重构即可提升性能。
• 通过语义相关性感知的关系学习，建立对知识图谱的全面理解。

提出的方法

• 提出一种GRL框架，集成于现有链接预测模型的嵌入学习阶段之后。
• 使用注意力机制提取关系之间的丰富语义相关性，尤其在多样本、少样本与零样本关系之间建立联系。
• 通过可学习的融合概率，将关系嵌入与注意力生成的联合向量及关系知识向量进行融合。
• 应用分类感知损失，将语义相关性直接嵌入关系表示中，提升向量空间中的判别性与接近度。
• 采用自适应融合机制，平衡联合向量与关系知识向量的贡献，提升模型灵活性。
• 可无缝集成至DistMult和ConvE等基础模型，增强其在所有关系类型上的泛化能力。

实验结果

研究问题

• RQ1 能否有效利用关系之间的语义相关性，以提升在关系分布不平衡情况下的链接预测性能？
• RQ2 能否通过统一框架实现在无任何训练样本情况下的零样本关系有效学习？
• RQ3 引入语义相关性感知机制对链接预测模型在多样本、少样本及零样本关系上的泛化性能有何影响？
• RQ4 GRL在多大程度上改善了语义相似关系在向量空间中的聚类效果？

主要发现

• GRL在零样本关系上的MRR显著提升，优于依赖邻居信息的最先进方法（如GMatching）。
• 在FB15K-237数据集上，ConvE+GRL的MRR达到55.4，较基础模型ConvE（52.0）提升3.4个百分点，展现出强大的泛化能力。
• 消融实验表明，当融合联合向量与关系知识向量（$p_f = 0.5$）时性能最佳，优于单一向量基线。
• 可视化结果表明，GRL增强了注意力分布与t-SNE图，使语义相似关系在嵌入空间中更接近。
• 直接融合基线性能低于GRL，证明分类感知损失对有效学习语义相关性至关重要。
• GRL在所有基准测试中均提升了DistMult与ConvE的性能，展现出强鲁棒性与广泛适用性。