[论文解读] KGE-CL: Contrastive Learning of Tensor Decomposition Based Knowledge Graph Embeddings

Luo Zhiping, Wentao Xu+4 more|arXiv (Cornell University)|Dec 9, 2021

Topic Modeling被引用 4

一句话总结

本文提出 KGE-CL，一种基于张量分解的知识图嵌入对比学习框架，通过增强不同三元组之间相关实体及实体-关系对之间的语义相似性，提升模型性能。通过基于共享实体或关系构建正样本，并应用加权对比损失，KGE-CL 在 WN18RR、FB15k-237 和 YAGO3-10 上取得新的 SOTA 结果，WN18RR 上 MRR 达 51.2%，Hits@1 达 46.8%。

ABSTRACT

Learning the embeddings of knowledge graphs (KG) is vital in artificial intelligence, and can benefit various downstream applications, such as recommendation and question answering. In recent years, many research efforts have been proposed for knowledge graph embedding (KGE). However, most previous KGE methods ignore the semantic similarity between the related entities and entity-relation couples in different triples since they separately optimize each triple with the scoring function. To address this problem, we propose a simple yet efficient contrastive learning framework for tensor decomposition based (TDB) KGE, which can shorten the semantic distance of the related entities and entity-relation couples in different triples and thus improve the performance of KGE. We evaluate our proposed method on three standard KGE datasets: WN18RR, FB15k-237 and YAGO3-10. Our method can yield some new state-of-the-art results, achieving 51.2% MRR, 46.8% Hits@1 on the WN18RR dataset, 37.8% MRR, 28.6% Hits@1 on FB15k-237 dataset, and 59.1% MRR, 51.8% Hits@1 on the YAGO3-10 dataset.

研究动机与目标

• 解决现有知识图嵌入（KGE）方法在捕捉不同三元组之间相关实体或实体-关系对之间语义相似性方面的局限性。
• 通过显式建模跨三元组的语义关系，提升基于张量分解的 KGE 模型的表达能力。
• 开发一种通用且高效的对比学习框架，兼容现有的基于张量分解的 KGE 方法。
• 通过缩短嵌入空间中相关实体及实体-关系对之间的语义距离，提升链接预测性能。
• 实现稀疏嵌入学习，降低存储开销，同时保持高性能，从而有利于大规模知识图。

提出的方法

• 为共享相同实体-关系对的实体，以及共享相同尾实体的实体-关系对构建正样本。
• 设计一种加权对比损失函数，动态控制每个正样本对整体损失的贡献。
• 在不改变架构的前提下，将对比学习框架集成到现有的基于张量分解的 KGE 模型（如 RESCAL、ComplEx）中。
• 在训练过程中应用对比学习，以最小化正样本对（语义上相似的实体/对）之间的距离，同时最大化负样本对之间的距离。
• 利用 T-SNE 可视化分析并验证嵌入空间中实体-关系对的聚类情况。
• 开展消融研究与稀疏性分析，评估正样本和嵌入稀疏性对模型性能的影响。

实验结果

研究问题

• RQ1 建模不同三元组之间相关实体及实体-关系对的跨三元组语义相似性，能否提升知识图嵌入性能？
• RQ2 所提出的对比学习框架在捕捉单个三元组之外的语义关系方面有多有效？
• RQ3 基于共享实体或关系的正样本引入，是否在不同 KGE 模型和数据集上均带来一致的性能提升？
• RQ4 与标准对比学习相比，加权对比损失在提升泛化能力和鲁棒性方面有多大改善？
• RQ5 在稀疏嵌入设置下，所提出的框架能否保持高性能，这对现实世界知识图至关重要？

主要发现

• KGE-CL 在 WN18RR 数据集上取得新的 SOTA 性能，MRR 达 51.2%，Hits@1 达 46.8%，超越先前方法。
• 在 FB15k-237 上，该方法实现 37.8% MRR 和 28.6% Hits@1，创下新的 SOTA 结果。
• 在 YAGO3-10 上，KGE-CL 获得 59.1% MRR 和 51.8% Hits@1，展现出在多样化知识图结构上的强大泛化能力。
• 消融研究证实，引入正样本显著提升性能，且在多个 KGE 变体中均保持一致增益。
• T-SNE 可视化显示，与基线模型相比，KGE-CL 更好地聚类了具有相同尾实体的实体-关系对。
• 稀疏性分析表明，KGE-CL 嵌入在稀疏设置下的性能优于 DURA，表明其在大规模知识图中具有更好的存储效率。