[论文解读] Knowledge Graph Embedding with Entity Neighbors and Deep Memory Network

Kai Wang, Yu Liu+2 more|ArXiv.org|Aug 11, 2018

Advanced Graph Neural Networks参考文献 32被引用 17

一句话总结

本文提出了一种新型知识图嵌入模型——邻域知识图嵌入（NKGE），通过整合实体邻居的结构与语义信息来增强实体表征。邻居包括拓扑邻居（通过关系直接连接的实体）和语义邻居（在彼此描述中被相互提及的实体）。采用深度记忆网络（DMN）编码邻居特征，并利用门控机制将这些特征与结构嵌入融合，NKGE在四个基准数据集上的链接预测任务中实现了最先进性能，优于使用实体描述的方法。

ABSTRACT

Knowledge Graph Embedding (KGE) aims to represent entities and relations of knowledge graph in a low-dimensional continuous vector space. Recent works focus on incorporating structural knowledge with additional information, such as entity descriptions, relation paths and so on. However, common used additional information usually contains plenty of noise, which makes it hard to learn valuable representation. In this paper, we propose a new kind of additional information, called entity neighbors, which contain both semantic and topological features about given entity. We then develop a deep memory network model to encode information from neighbors. Employing a gating mechanism, representations of structure and neighbors are integrated into a joint representation. The experimental results show that our model outperforms existing KGE methods utilizing entity descriptions and achieves state-of-the-art metrics on 4 datasets.

研究动机与目标

• 解决现有知识图嵌入方法中噪声多、非结构化的附加信息（如实体描述、关系路径）的局限性。
• 提出一种新型附加信息形式——实体邻居，结合语义与拓扑特征，同时降低噪声。
• 设计一种深度记忆网络（DMN）编码器，以有效提取实体邻居的潜在表征。
• 通过可学习门控机制将邻居表征与结构化KGE模型（TransE和ConvE）融合，实现联合表征学习。
• 通过实证验证实体邻居和DMN编码器相较于传统基于描述的方法的优越性。

提出的方法

• 实体邻居被定义为拓扑邻居（通过关系直接连接的实体）与语义邻居（在彼此描述中被相互提及的实体）的并集。
• 采用深度记忆网络（DMN）编码邻居信息，通过多轮记忆跳跃和注意力机制学习上下文表征。
• 门控机制动态地将结构化表征（来自TransE或ConvE）与邻居表征融合，生成联合实体嵌入。
• 模型通过负采样和随机梯度下降进行端到端训练，以优化链接预测损失。
• 实现两种变体：NKGE (TransE) 和 NKGE (ConvE)，均在其各自架构中集成邻居编码。
• 通过受控消融实验，通过对比CBOW和LSTM编码器在描述与邻居上的表现，分离评估邻居表征与编码器设计的影响。

实验结果

研究问题

• RQ1 结合语义与拓扑特征的实体邻居，是否能作为比传统实体描述更有效且更少噪声的附加信息形式？
• RQ2 深度记忆网络（DMN）是否在捕捉邻居实体的复杂模式方面优于简单编码器（如CBOW、LSTM）？
• RQ3 通过可学习门控机制融合邻居表征，是否能提升在稀疏或不完整知识图上的KGE性能？
• RQ4 NKGE相较于使用实体描述的最先进KGE模型，性能如何？
• RQ5 拓扑邻居与语义邻居各自贡献如何？两者的结合是否更具有效性？

主要发现

• NKGE (TransE) 在全部四个基准数据集上均达到最先进平均排名（MR）表现，优于使用实体描述的基于TransE的基线方法。
• NKGE (ConvE) 在大多数数据集上达到最先进均 reciprocal rank (MRR) 和 Hits@N 分数，包括在FB15k上超越ANALOGY模型。
• 在FB15k上，NKGE (DMN + Nei) 实现 MR = 50 和 Hits@10 = 78.5，优于DKRL (MR = 91, Hits@10 = 67.4) 和 Jointly (MR = 73, Hits@10 = 75.5)。
• 消融实验表明，仅使用实体邻居（NKGE (CBOW + Nei)）即优于使用相同编码器的基于描述的方法，证明了邻居表征的价值。
• DMN编码器显著提升性能，NKGE (DMN + Des) 实现 MR = 53 和 Hits@10 = 76.0，优于 Jointly (A_LSTM + Des)。
• 结合拓扑与语义邻居（NKGE (T&S)）取得最佳性能（MR = 237, Hits@10 = 51.0），证实了两类邻居表征的互补性。