[论文解读] A Self-supervised Method for Entity Alignment

Xiao Liu, Haoyun Hong+5 more|arXiv (Cornell University)|Jun 17, 2021

Advanced Graph Neural Networks参考文献 48被引用 4

一句话总结

该论文提出 SelfKG，一种用于知识图谱中实体对齐的自监督对比学习方法，通过将未标记的负样本实体对彼此推开，而非仅将已标记的正样本对拉近，从而提升性能。实验表明，SelfKG 在无需任何标注对齐数据的情况下，性能可与最先进监督方法相媲美。

ABSTRACT

Entity alignment, aiming to identify equivalent entities across different knowledge graphs (KGs), is a fundamental problem for constructing large-scale KGs. Over the course of its development, supervision has been considered necessary for accurate alignments. Inspired by the recent progress of self-supervised learning, we explore the extent to which we can get rid of supervision for entity alignment. Existing supervised methods for this task focus on pulling each pair of positive (labeled) entities close to each other. However, our analysis suggests that the learning of entity alignment can actually benefit more from pushing sampled (unlabeled) negatives far away than pulling positive aligned pairs close. We present SelfKG by leveraging this discovery to design a contrastive learning strategy across two KGs. Extensive experiments on benchmark datasets demonstrate that SelfKG without supervision can match or achieve comparable results with state-of-the-art supervised baselines. The performance of SelfKG demonstrates self-supervised learning offers great potential for entity alignment in KGs.

研究动机与目标

• 探究是否可通过利用自监督对比学习在实体对齐中消除监督。
• 探究将负样本实体对彼此推开是否比仅将正样本对拉近更能提升对齐性能。
• 设计一种仅基于两个知识图谱中未配对、未标注实体的对比学习框架。
• 评估自监督学习在无需人工标注对齐的情况下实现具有竞争力对齐准确率的有效性。

提出的方法

• SelfKG 采用一种对比学习策略，明确地在嵌入空间中将采样的负样本实体对彼此推开。
• 该方法从两个知识图谱中构建正样本对和负样本对，而无需依赖任何标注对齐数据。
• 它使用一种对比目标函数，最大化负样本对之间的分离度，同时保持正样本对之间的接近度。
• 该模型利用两个知识图谱中的结构和语义特征，生成用于对比学习的有意义嵌入。
• 该框架通过对比损失函数端到端训练，以鼓励对齐实体生成具有判别性的表示。

实验结果

研究问题

• RQ1 自监督对比学习是否能在无需任何标注数据的情况下，超越监督方法在实体对齐中的表现？
• RQ2 强调负样本采样（将负样本对彼此推开）是否比仅关注正样本对拉近能带来更好的对齐性能？
• RQ3 一种仅依赖两个知识图谱中未配对实体的对比学习方法有多有效？
• RQ4 自监督方法是否能达到与最先进监督基线方法相当的性能？

主要发现

• SelfKG 在基准知识图谱数据集上实现了与最先进监督方法相当的性能，且无需使用任何标注对齐数据。
• 该方法表明，将负样本实体对彼此推开对提升对齐性能的贡献，大于仅将正样本对拉近。
• 大量实验确认，自监督对比学习是监督训练在实体对齐中的可行且有效的替代方案。
• 结果表明，自监督学习在大规模知识图谱构建中具有强大潜力，且可最大限度减少人工标注。