[论文解读] LinkNBed: Multi-Graph Representation Learning with Entity Linkage

Rakshit Trivedi, Bunyamin Sisman+4 more|arXiv (Cornell University)|Jul 23, 2018

Advanced Graph Neural Networks参考文献 39被引用 10

一句话总结

LinkNBed 是一种深度关系学习框架，通过利用实体链接作为关键组件，在多个不完整知识图谱中联合学习实体和关系表征。它引入了一种新颖的多任务损失函数和高效的训练过程，在 Freebase 和 IMDB 数据集上的链接预测与实体链接任务中均取得了最先进性能。

ABSTRACT

Knowledge graphs have emerged as an important model for studying complex multi-relational data. This has given rise to the construction of numerous large scale but incomplete knowledge graphs encoding information extracted from various resources. An effective and scalable approach to jointly learn over multiple graphs and eventually construct a unified graph is a crucial next step for the success of knowledge-based inference for many downstream applications. To this end, we propose LinkNBed, a deep relational learning framework that learns entity and relationship representations across multiple graphs. We identify entity linkage across graphs as a vital component to achieve our goal. We design a novel objective that leverage entity linkage and build an efficient multi-task training procedure. Experiments on link prediction and entity linkage demonstrate substantial improvements over the state-of-the-art relational learning approaches.

研究动机与目标

• 解决在多个不完整且异构知识图谱中学习统一表征的挑战。
• 通过将实体链接整合为表征学习过程的核心组件，改进多图关系学习。
• 设计一种可扩展的、与图无关的框架，联合优化表征学习与实体链接。
• 通过一种稳健的多任务损失函数，处理标注链接实例稀疏的问题。
• 实现大规模多关系图上的高效线性时间训练。

提出的方法

• 提出一种新颖的多任务学习框架，通过共享嵌入空间联合训练实体表征学习与实体链接。
• 设计一种与图无关的归纳偏置，从跨图的结构和语义特征中学习上下文表征。
• 引入一种新颖的多任务损失函数，有效处理正向链接实例稀疏的问题，并支持仅使用未标注或负样本进行训练。
• 采用平移算子（如 TransE 风格）建模关系，并优化链接预测得分。
• 采用联合优化过程，保持三元组数量的线性时间复杂度，实现可扩展性。
• 利用实体链接作为监督信号，对齐跨图中同一现实世界实体的嵌入表示，提升泛化能力。

实验结果

研究问题

• RQ1 在多个知识图谱中联合学习实体表征与实体链接，是否能提升链接预测与实体消解任务的性能？
• RQ2 多任务学习框架如何在多图设置下有效处理正向链接实例稀疏的问题？
• RQ3 与图无关的归纳框架是否能从异构多关系图中学习有意义的表征，同时保持重叠实体间的对齐？
• RQ4 将实体链接作为监督信号引入，对学习到的嵌入质量有何影响？
• RQ5 与单图基线相比，所提出方法在训练时间与性能方面的可扩展性如何？

主要发现

• LinkNBed 在整理后的 Freebase 和 IMDB 数据集上，于链接预测与实体链接任务中均取得了最先进性能。
• 该方法显著优于现有单图关系学习模型，即使在对这些模型进行多图设置微调后仍表现更优。
• 多任务损失函数支持在极少标注链接实例下实现稳健学习，包括仅含负样本或未标注数据的场景。
• 该框架实现了线性时间训练复杂度，使其可扩展至大规模多图设置。
• 与实体链接联合训练可使跨图的嵌入表示更加对齐且语义一致，尤其在重叠实体上表现更优。
• 该框架的归纳特性使其无需重新训练即可泛化至未见过的图。