[论文解读] Compositional Vector Space Models for Knowledge Base Completion

Arvind Neelakantan, Benjamin Roth+1 more|arXiv (Cornell University)|Apr 24, 2015

Topic Modeling参考文献 45被引用 92

一句话总结

本文提出了一种基于循环神经网络（RNN）的组合向量空间模型，用于知识库补全，通过非原子方式将多跳关系路径组合为分布式向量表示。通过学习单一高容量RNN组合函数，该模型实现了对未见关系类型的零样本推理，在5200万条三元组数据集上相比传统分类器提升11%，相比预训练嵌入方法提升7%。

ABSTRACT

Knowledge base (KB) completion adds new facts to a KB by making inferences from existing facts, for example by inferring with high likelihood nationality(X,Y) from bornIn(X,Y). Most previous methods infer simple one-hop relational synonyms like this, or use as evidence a multi-hop relational path treated as an atomic feature, like bornIn(X,Z) -> containedIn(Z,Y). This paper presents an approach that reasons about conjunctions of multi-hop relations non-atomically, composing the implications of a path using a recursive neural network (RNN) that takes as inputs vector embeddings of the binary relation in the path. Not only does this allow us to generalize to paths unseen at training time, but also, with a single high-capacity RNN, to predict new relation types not seen when the compositional model was trained (zero-shot learning). We assemble a new dataset of over 52M relational triples, and show that our method improves over a traditional classifier by 11%, and a method leveraging pre-trained embeddings by 7%.

研究动机与目标

• 解决符号路径方法在知识库补全中面临的可扩展性与泛化能力局限性。
• 通过学习一种跨关系路径泛化的组合RNN，实现对未见关系类型的零样本推理。
• 通过使用分布式向量表示而非原子路径特征，克服路径排序算法的特征爆炸问题。
• 通过使用循环架构组合关系嵌入，提升大规模知识库的泛化能力与性能。
• 证明基于RNN的关系路径组合在泛化能力上优于传统分类器或预训练嵌入方法。

提出的方法

• 该模型使用一个循环神经网络（RNN），其输入为路径中关系的向量嵌入以及表示当前路径状态的隐藏状态，每一步生成一个组合向量。
• RNN按顺序组合关系向量，每一步更新隐藏状态以反映不断增长的路径的语义含义。
• 在完整处理完路径后，使用最终的RNN隐藏状态预测路径首尾实体之间的关系。
• 对于标准预测，为每种关系类型学习独立的RNN；对于零样本学习，则使用单一共享RNN以跨未见关系泛化。
• 该方法利用关系的分布式向量表示，通过语义邻域实现泛化，避免显式枚举所有路径的需要。
• 通过多个RNN的集成预测提升鲁棒性，并缓解局部最优问题。

实验结果

研究问题

• RQ1 组合RNN模型能否泛化到训练期间未见过的多跳关系路径？
• RQ2 单一RNN组合函数能否实现对训练期间未见的关系类型的关系预测？
• RQ3 关系向量的非原子组合是否在知识库补全任务中优于原子路径特征模型？
• RQ4 与传统分类器或预训练嵌入相比，使用RNN与向量嵌入在泛化能力上的提升程度如何？
• RQ5 在大规模知识库中，模型性能如何随路径长度与关系多样性变化？

主要发现

• 基于RNN的组合模型在5200万条三元组数据集上相比传统路径排序分类器性能提升11%。
• 该模型相比利用预训练关系嵌入的方法性能提升7%。
• 五个RNN的集成预测将性能提升至59.16，表明对局部最优具有鲁棒性，但仍低于最佳基线。
• 零样本模型在未显式提供目标关系示例的情况下，显著优于随机基线（p < 0.05），证明其对未见关系具备泛化能力。
• 由于无法完全捕捉局部结构模式，其性能受限于无法完全捕捉局部结构模式，相较于使用二元组路径特征的分类器表现较差，表明通过引入记忆增强架构仍有改进空间。
• 结果表明，RNN组合能够有效实现复杂关系路径间的泛化，支持其在大规模知识库补全中的应用。