[论文解读] Recurrent Skipping Networks for Entity Alignment

Lingbing Guo, Zequn Sun+2 more|arXiv (Cornell University)|Nov 6, 2018

Advanced Graph Neural Networks参考文献 22被引用 9

一句话总结

该论文提出 RSN4EA，一种新颖的端到端实体对齐框架，通过有偏随机游走采样在知识图谱中生成长程路径，并利用循环跳跃网络（RSN）对这些路径进行建模。RSN 通过残差学习增强 RNN，提升收敛速度与性能，在实体对齐任务中达到最先进水平，并在知识图谱补全任务中表现具有竞争力，同时减少了对先前对齐数据的依赖。

ABSTRACT

We consider the problem of learning knowledge graph (KG) embeddings for entity alignment (EA). Current methods use the embedding models mainly focusing on triple-level learning, which lacks the ability of capturing long-term dependencies existing in KGs. Consequently, the embedding-based EA methods heavily rely on the amount of prior (known) alignment, due to the identity information in the prior alignment cannot be efficiently propagated from one KG to another. In this paper, we propose RSN4EA (recurrent skipping networks for EA), which leverages biased random walk sampling for generating long paths across KGs and models the paths with a novel recurrent skipping network (RSN). RSN integrates the conventional recurrent neural network (RNN) with residual learning and can largely improve the convergence speed and performance with only a few more parameters. We evaluated RSN4EA on a series of datasets constructed from real-world KGs. Our experimental results showed that it outperformed a number of state-of-the-art embedding-based EA methods and also achieved comparable performance for KG completion.

研究动机与目标

• 解决现有实体对齐方法仅关注三元组级嵌入、难以捕捉知识图谱中长期依赖关系的局限性。
• 通过长程路径建模实现跨知识图谱的身份信息有效传播，减少对大规模先前对齐数据的依赖。
• 设计一种路径采样策略，控制深度与跨知识图谱的偏置，以实现更有效的训练。
• 开发一种序列建模架构，相比标准 RNN，能更好地捕捉知识图谱路径中的关系结构与方向性。
• 在具有受控密度与语言设置的真实、多样化数据集上评估方法，以确保可复现性与鲁棒性。

提出的方法

• RSN4EA 采用有偏随机游走采样方法，生成具有可控深度、并偏向对齐相关实体的长程跨知识图谱路径。
• 该框架使用一种新颖的循环跳跃网络（RSN），将残差学习整合进 RNN，以改善梯度流动与收敛速度。
• RSN 通过学习主体实体与预测目标实体之间的残差，建模路径，保留结构上下文，提升表征学习效果。
• 模型通过对比学习在对齐实体对上进行端到端训练，损失函数针对实体对齐与知识图谱补全任务进行优化。
• 路径采样受先前对齐数据引导，优先选择连接已知对齐实体的路径，从而增强信息传播。
• 该方法在四组真实世界知识图谱对上进行评估，涵盖不同密度与语言设置（单语与跨语言），以确保泛化能力。

实验结果

研究问题

• RQ1 在知识图谱中建模长程路径是否能超越三元组级嵌入方法，提升实体对齐性能？
• RQ2 将残差学习引入 RNN 对知识图谱关系序列建模有何影响？
• RQ3 基于路径的学习能在多大程度上减少对先前对齐集合规模的依赖？
• RQ4 采样随机游走的长度如何影响实体对齐与知识图谱补全的性能？
• RQ5 一种以实体对齐为主要目标的基于路径的方法，是否也能在知识图谱补全任务中实现具有竞争力的性能？

主要发现

• RSN4EA 在所有数据集上均优于多种最先进嵌入式实体对齐方法，与 BootEA 相比，在低比例先前对齐设置下，Hits@1 提升最高达 30.2%。
• 所提出的 RSN 仅需 1/30 的训练时间，性能即优于标准 RNN 与 RRN，证明了残差学习在序列知识图谱建模中的有效性。
• 性能在随机游走长度为 15–25 时趋于饱和，表明中等长度路径（15）在性能与效率之间达到最佳平衡。
• 在 FB15K-237 基准上，RSN4EA 在知识图谱补全任务中取得具有竞争力的结果，仅次于 ConvE，尽管该模型未专门为此任务优化。
• 当先前对齐数据减少至 10% 时，RSN4EA 的性能显著优于 BootEA，某些情况下 Hits@1 几乎翻倍，表明其在低监督设置下具备更强鲁棒性。
• 该方法在普通与密集知识图谱上均表现出稳定性能，证实其在多样化数据分布下的泛化能力。