[论文解读] Knowledge Graph Contrastive Learning Based on Relation-Symmetrical Structure

Ke Liang, Yue Liu+6 more|arXiv (Cornell University)|Nov 19, 2022

Advanced Graph Neural Networks被引用 11

一句话总结

该论文提出 KGE-SymCL，一种知识图对比学习框架，利用关系对称结构在不依赖语言模型的前提下构建正对比对。通过将处于对称关系位置的实体视为语义相似，该方法在链接预测和实体分类任务中显著提升 KGE 模型性能，以极低的计算开销持续优于最先进基线方法。

ABSTRACT

Knowledge graph embedding (KGE) aims at learning powerful representations to benefit various artificial intelligence applications. Meanwhile, contrastive learning has been widely leveraged in graph learning as an effective mechanism to enhance the discriminative capacity of the learned representations. However, the complex structures of KG make it hard to construct appropriate contrastive pairs. Only a few attempts have integrated contrastive learning strategies with KGE. But, most of them rely on language models ( e.g., Bert) for contrastive pair construction instead of fully mining information underlying the graph structure, hindering expressive ability. Surprisingly, we find that the entities within a relational symmetrical structure are usually similar and correlated. To this end, we propose a knowledge graph contrastive learning framework based on relation-symmetrical structure, KGE-SymCL, which mines symmetrical structure information in KGs to enhance the discriminative ability of KGE models. Concretely, a plug-and-play approach is proposed by taking entities in the relation-symmetrical positions as positive pairs. Besides, a self-supervised alignment loss is designed to pull together positive pairs. Experimental results on link prediction and entity classification datasets demonstrate that our KGE-SymCL can be easily adopted to various KGE models for performance improvements. Moreover, extensive experiments show that our model could outperform other state-of-the-art baselines.

研究动机与目标

• 为解决现有对比学习 KGE 方法严重依赖预训练语言模型构建正样本对的局限性，此类方法可能引入噪声并降低鲁棒性。
• 探索知识图中的结构归纳偏置——特别是关系对称结构——作为对比学习中更稳定且内在的正样本对构建准则。
• 开发一种即插即用的对比学习框架，无需修改模型架构即可增强多种 KGE 模型的判别能力。
• 证明知识图中的对称结构模式本质上编码了语义相似性，从而支持有效的自监督对比学习。

提出的方法

• 该框架识别知识图中的关系对称结构，其中通过共同枢纽连接的实体若处于对称关系位置，则被视为语义相关。
• 通过选择此类结构中占据对称位置的实体来构建正样本对，形成自监督对比学习信号。
• 引入一种新颖的自监督对齐损失，用于在训练过程中拉近这些由结构导出的正样本对。
• 该方法设计为即插即用模块，兼容多种 KGE 模型，包括 COMPGCN、SimKGC 等。
• 关系对称结构通过一次遍历知识图提取，存储于字典中以实现高效复用。
• 框架联合优化基于结构正样本对的对比损失与下游任务损失（如链接预测或实体分类）。

实验结果

研究问题

• RQ1 知识图中的关系对称结构能否作为构建 KGE 对比学习正样本对的可靠、模型无关的标准？
• RQ2 与基于语言模型的对比学习相比，利用结构对称性在多大程度上提升了 KGE 模型的判别能力？
• RQ3 所提出的 KGE-SymCL 框架在不同 KGE 架构和基准数据集上是否具备足够的鲁棒性与泛化能力？
• RQ4 超参数（如跳数 K、采样数量 m 和损失加权系数）对 KGE-SymCL 性能的影响如何？

主要发现

• KGE-SymCL 在多个 KGE 模型（包括 COMPGCN 和 SimKGC）上，于链接预测和实体分类基准任务中均持续提升性能。
• 该方法在 WN18RR、FB15K-237 和 NELL-995 上均取得最先进结果，优于现有对比学习 KGE 方法。
• 框架仅引入少量运行时开销——在 COMPGCN 上训练 WN18RR 和 FB15K-237 时，额外耗时约 2.5 至 6.7 分钟，具备实际部署可行性。
• 模型对跳数 K 和采样数量 m 的变化具有鲁棒性，性能波动极小，表明其对超参数敏感度低。
• 超参数 α 的影响尤为显著，最优性能在 α = 0.001 时达到，原因在于对比损失与任务损失之间存在量级差异。
• 结构提取在单个 CPU 上对标准知识图耗时 50 至 120 分钟，但此成本仅需执行一次并可重复使用，因此推理效率高。