[论文解读] Link Prediction using Embedded Knowledge Graphs

Yelong Shen, Po-Sen Huang+2 more|arXiv (Cornell University)|Nov 14, 2016

Advanced Graph Neural Networks参考文献 44被引用 7

一句话总结

本文提出嵌入式知识图网络（EKGN），一种新颖的知识库补全方法，通过在联合训练的嵌入式知识图上学习执行交互式查找操作，而非依赖人工设计的路径采样。通过端到端训练嵌入式知识图与控制器RNN，EKGN在WN18、FB15k和FB15k-237基准上实现了最先进性能，且无需使用辅助知识或显式路径挖掘。

ABSTRACT

Since large knowledge bases are typically incomplete, missing facts need to be inferred from observed facts in a task called knowledge base completion. The most successful approaches to this task have typically explored explicit paths through sequences of triples. These approaches have usually resorted to human-designed sampling procedures, since large knowledge graphs produce prohibitively large numbers of possible paths, most of which are uninformative. As an alternative approach, we propose performing a single, short sequence of interactive lookup operations on an embedded knowledge graph which has been trained through end-to-end backpropagation to be an optimized and compressed version of the initial knowledge base. Our proposed model, called Embedded Knowledge Graph Network (EKGN), achieves new state-of-the-art results on popular knowledge base completion benchmarks.

研究动机与目标

• 为解决知识库不完整的问题，通过在多跳关系上进行结构化推理来改进链接预测。
• 克服现有方法依赖人工设计的符号空间路径采样所带来的局限，后者计算成本高且常不理想。
• 学习知识图在向量空间中的紧凑、任务优化表示，以支持高效且自适应的推理。
• 联合训练控制器与嵌入式知识图，使模型能够学习何时停止以及如何生成相关查找序列。
• 在不使用外部知识或路径挖掘启发式方法的前提下，实现在标准知识库补全基准上的最先进性能。

提出的方法

• 该模型使用嵌入式知识图（EKG），即一个以随机向量初始化的可学习权重矩阵，通过反向传播联合训练，以在压缩的、任务特定的向量空间中表示知识库。
• 控制器以循环神经网络（RNN）实现，通过在每一步对嵌入式知识图进行注意力计算，生成上下文感知的查询向量。
• 在每一步中，控制器使用注意力机制对嵌入式知识图计算加权和，并根据检索到的上下文更新其隐藏状态。
• 控制器包含一个可学习的终止模块，用于预测是否停止查找序列，从而实现自适应推理长度。
• 整个系统通过可微分的目标函数进行端到端训练，以优化训练集上的链接预测准确率。
• 在推理过程中，嵌入式知识图不会被显式存储或更新；相反，它作为控制器的静态、优化后的查找表。

实验结果

研究问题

• RQ1 神经网络能否在不依赖人工设计的路径采样的情况下，有效且自适应地在知识图上进行推理？
• RQ2 通过端到端训练的嵌入式知识图是否能比传统基于路径的模型更有效地捕捉复杂多跳关系？
• RQ3 在压缩的、学习得到的向量空间表示上学习执行交互式查找，是否能提升标准基准上的链接预测性能？
• RQ4 控制器能否在无监督的情况下，仅基于输入和嵌入式图学习确定最优的查找步数？
• RQ5 是否可能在不使用辅助知识库或显式路径挖掘的前提下，实现知识库补全的最先进结果？

主要发现

• EKGN在WN18基准上实现了新的最先进性能，其均倒数排名（MRR）和Hits@10指标均优于先前方法。
• 在FB15k基准上，EKGN实现了MRR为0.837和Hits@10为0.958，创下新的最先进结果。
• 在更具挑战性的FB15k-237基准上，EKGN实现了MRR为0.618和Hits@10为0.812，显著优于先前模型。
• 消融实验表明，若移除控制器的终止模块或禁用注意力机制，性能将显著下降，证实了自适应推理的重要性。
• 该模型在多种关系类型上泛化良好，包括复杂复合关系如（奥巴马，出生地，夏威夷）→（夏威夷，属于，美国），且无需显式路径监督。
• EKGN框架无需任何辅助知识库或外部路径挖掘，表明有效推理可从嵌入式图与控制器的端到端训练中自然涌现。