[论文解读] Are Negative Samples Necessary in Entity Alignment? An Approach with High Performance, Scalability and Robustness

Xin Mao, Meng Wan+2 more|arXiv (Cornell University)|Aug 11, 2021

Advanced Graph Neural Networks参考文献 48被引用 4

一句话总结

该论文提出PSR，一种新颖的实体对齐方法，通过引入对称的无负样本损失和简化的关系图采样编码器，消除了负采样，从而在大规模知识图谱上实现高性能、可扩展性和鲁棒性。PSR以线性时间与内存复杂度实现最先进性能，在标准和大规模数据集上均优于先前方法，且仅需极少的GPU内存，并支持增量学习。

ABSTRACT

Entity alignment (EA) aims to find the equivalent entities in different KGs, which is a crucial step in integrating multiple KGs. However, most existing EA methods have poor scalability and are unable to cope with large-scale datasets. We summarize three issues leading to such high time-space complexity in existing EA methods: (1) Inefficient graph encoders, (2) Dilemma of negative sampling, and (3) "Catastrophic forgetting" in semi-supervised learning. To address these challenges, we propose a novel EA method with three new components to enable high Performance, high Scalability, and high Robustness (PSR): (1) Simplified graph encoder with relational graph sampling, (2) Symmetric negative-free alignment loss, and (3) Incremental semi-supervised learning. Furthermore, we conduct detailed experiments on several public datasets to examine the effectiveness and efficiency of our proposed method. The experimental results show that PSR not only surpasses the previous SOTA in performance but also has impressive scalability and robustness.

研究动机与目标

• 解决现有实体对齐方法在大规模知识图谱中时间与空间复杂度过高的问题。
• 消除负采样需求，因为负采样在实体对齐中计算成本高且通常质量较低。
• 通过支持增量半监督学习并减少内存消耗，提升可扩展性与鲁棒性。
• 在包括稀疏和大规模图在内的多样化数据集上保持高性能，而无需依赖昂贵的采样或复杂架构。

提出的方法

• 提出一种基于关系图采样的简化图编码器，以降低计算成本，同时保留结构与关系信息。
• 引入一种对称的无负样本对齐损失，直接优化实体等价性，无需负样本对。
• 采用带有审查机制的增量半监督学习策略，缓解灾难性遗忘，实现线性可扩展训练。
• 使用小批量训练，内存增长与批量大小和图密度呈线性关系，支持在GPU内存有限的设备上部署。
• 将字面特征作为补充信号，提升稀疏实体的性能，尤其在低密度图中表现更优。
• 设计一种审查阈值机制，选择性地对早期样本重新训练，平衡性能与训练效率。

实验结果

研究问题

• RQ1 能否在不进行负采样的情况下有效完成实体对齐，这对模型设计与效率有何影响？
• RQ2 如何简化图编码器以在大幅降低时间和空间复杂度的同时保持性能？
• RQ3 带有审查机制的增量学习能否防止灾难性遗忘，并实现在不断增长的知识图谱上的可扩展训练？
• RQ4 无负采样模型在大规模和稀疏知识图谱上的性能与最先进方法相比如何？

主要发现

• PSR在多个基准数据集上实现最先进性能，Hits@1得分超越先前最先进方法。
• 即使在小批量大小128和低嵌入维度100的情况下，模型仍保持高性能，Hits@1分别仅下降2%和3%。
• PSR的内存消耗与批量大小和图密度呈线性增长，可在仅配备12GB内存的GPU上训练，而先前方法通常超出此限制。
• 带有审查阈值的增量学习策略显著减少训练时间，同时保持性能，展现出与数据集规模的线性可扩展性。
• 在稀疏数据集如SRPRS_{DE-EN}上，结合字面特征的PSR优于仅使用结构信息的模型，表明补充信息在低连通区域具有重要价值。
• 对称的无负样本损失消除了昂贵负采样的需求，相比依赖k近邻采样的方法，训练时间减少25%以上。