[论文解读] Jointly Learning Knowledge Embedding and Neighborhood Consensus with Relational Knowledge Distillation for Entity Alignment

Xinhang Li, Yong Zhang+1 more|arXiv (Cornell University)|Jan 25, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

本文提出RKDEA，一种基于GCN的模型，通过关系知识蒸馏联合学习知识嵌入与邻域一致性，实现实体对齐。通过自适应温度机制将教师模型的关系语义蒸馏到学生模型中，RKDEA有效平衡了相互冲突的目标，在基准数据集上取得了最先进性能。

ABSTRACT

Entity alignment aims at integrating heterogeneous knowledge from different knowledge graphs. Recent studies employ embedding-based methods by first learning the representation of Knowledge Graphs and then performing entity alignment via measuring the similarity between entity embeddings. However, they failed to make good use of the relation semantic information due to the trade-off problem caused by the different objectives of learning knowledge embedding and neighborhood consensus. To address this problem, we propose Relational Knowledge Distillation for Entity Alignment (RKDEA), a Graph Convolutional Network (GCN) based model equipped with knowledge distillation for entity alignment. We adopt GCN-based models to learn the representation of entities by considering the graph structure and incorporating the relation semantic information into GCN via knowledge distillation. Then, we introduce a novel adaptive mechanism to transfer relational knowledge so as to jointly learn entity embedding and neighborhood consensus. Experimental results on several benchmarking datasets demonstrate the effectiveness of our proposed model.

研究动机与目标

• 解决实体对齐中学习知识嵌入与邻域一致性之间的权衡问题。
• 通过有效利用稀疏或异构知识图谱中的关系语义信息，提升实体对齐性能。
• 克服现有模型中因优化目标冲突导致的过拟合问题。
• 通过自适应温度机制，在训练过程中动态平衡关系知识与邻域一致性。
• 实现从教师模型到学生模型的关系知识迁移，以提升对齐准确率。

提出的方法

• 使用高速公路门控GCN通过聚合邻域信息并结合图结构来学习实体表示。
• 通过训练两个独立模型来应用知识蒸馏：一个专注于关系知识（教师），另一个专注于邻域一致性（学生）。
• 通过对齐关系感知表示的知识蒸馏损失，将关系知识从教师模型转移到学生模型。
• 引入自适应温度机制，动态控制蒸馏过程中关系知识的贡献，避免静态超参数调优。
• 通过邻域一致性损失与蒸馏损失的加权组合，联合优化两个目标。
• 在DBP15K及其他基准数据集上评估该框架，在跨语言与跨领域设置下均表现出一致的性能提升。

实验结果

研究问题

• RQ1 如何在实体对齐中有效平衡关系知识与邻域一致性，以避免优化冲突？
• RQ2 知识蒸馏能否改善关系语义信息在基于GCN的实体对齐模型中的整合？
• RQ3 与固定温度相比，自适应温度机制在实体对齐知识蒸馏中的影响如何？
• RQ4 关系知识蒸馏在稀疏或异构知识图谱上的性能提升程度如何？
• RQ5 所提出的框架是否可泛化以改进除自身架构外的现有实体对齐模型？

主要发现

• RKDEA在DBP15K上达到最先进性能，DBP_FR-EN数据集的Hits@1达到0.601，超越了之前的SOTA方法。
• 采用关系知识蒸馏的模型（w/ RKD）相比基线模型KECG，平均提升Hits@1达4.5%。
• 自适应温度机制在最终Hits@1和收敛性方面优于静态温度基线。
• 消融实验表明，关系知识蒸馏显著提升了KECG、HyperKA和RKDEA模型的性能。
• 性能提升在跨语言设置中最为显著，证明了该方法在处理语言无关实体对齐方面的有效性。
• 结果表明，通过蒸馏引入关系知识可提升对齐的鲁棒性，尤其在仅依赖邻域结构易导致误对齐的情况下（如纽约州与纽约市的混淆）。