[论文解读] Learning New Facts From Knowledge Bases With Neural Tensor Networks and Semantic Word Vectors

Danqi Chen, Richard Socher+2 more|arXiv (Cornell University)|Jan 16, 2013

Topic Modeling参考文献 11被引用 60

一句话总结

该论文提出了一种神经张量网络（NTN）模型，通过从现有关系数据中学习实体表示，利用基于张量的打分函数实现实体向量之间的双线性交互，从而预测知识库中的新关系。当使用无监督预训练的词向量进行初始化时，该模型在分类未见的WordNet关系时达到75.8%的准确率，在排序任务中达到20.9%的recall@100，优于先前的相似度模型和Hadamard模型。

ABSTRACT

Knowledge bases provide applications with the benefit of easily accessible, systematic relational knowledge but often suffer in practice from their incompleteness and lack of knowledge of new entities and relations. Much work has focused on building or extending them by finding patterns in large unannotated text corpora. In contrast, here we mainly aim to complete a knowledge base by predicting additional true relationships between entities, based on generalizations that can be discerned in the given knowledgebase. We introduce a neural tensor network (NTN) model which predicts new relationship entries that can be added to the database. This model can be improved by initializing entity representations with word vectors learned in an unsupervised fashion from text, and when doing this, existing relations can even be queried for entities that were not present in the database. Our model generalizes and outperforms existing models for this problem, and can classify unseen relationships in WordNet with an accuracy of 75.8%.

研究动机与目标

• 通过仅使用现有知识库中的信息，预测实体之间新的真实关系，以解决知识库的不完整性问题。
• 通过利用从大规模语料库中学习到的分布式词向量，提升对未见实体和关系的泛化能力。
• 开发一种比以往线性或Hadamard基模型更具表达力的关系模型，用于知识库补全。
• 在WordNet的未见关系上，对分类和排序两类任务进行模型性能评估。

提出的方法

• 该模型使用神经张量网络（NTN），通过张量W^{[i]}实现实体向量e₁和e₂之间的双线性交互，计算三元组(e₁, R, e₂)的打分。
• 打分函数g(e₁, R, e₂)定义为Uᵀ tanh( e₁ᵀW^{[i]}e₂ + V_R [e₁; e₂] + b_R )，其中张量用于捕捉实体之间的直接交互。
• 实体表示通过在维基百科上使用无监督模型预训练的100维词向量进行初始化，这些向量能够捕捉句法和语义信息。
• 对于多词实体名称，通过平均其词向量形成单一实体表示，从而实现对未见实体的泛化。
• 模型采用对比最大间隔损失函数进行训练，以优化正确三元组的得分，同时降低错误三元组的得分。
• 评估包括分类（准确率）和排序（recall@100）两方面，负样本通过打乱真实三元组中的实体和关系生成。

实验结果

研究问题

• RQ1 具有实体向量双线性交互的神经张量网络是否能在预测新知识库事实方面优于线性模型？
• RQ2 无监督词向量在多大程度上能提升知识库补全任务中对未见实体和关系的泛化能力？
• RQ3 该模型在给定关系和头实体的情况下，能否在数万个候选实体中对正确实体进行有效排序？
• RQ4 当预测原始知识库中不存在的实体的关系时，该模型是否仍能保持高性能？

主要发现

• 当使用语义词向量初始化时，NTN模型在未见WordNet关系上的分类准确率达到75.8%，显著优于相似度模型（66.7%）和Hadamard模型（71.9%）。
• 在语义初始化下，模型的recall@100达到20.9%，是相似度模型（10.6%）的两倍以上，也是Hadamard模型（7.4%）的三倍以上。
• 当使用随机向量而非语义词向量进行初始化时，NTN的性能下降至70.0%准确率和16.9% recall@100，表明预训练嵌入在模型性能中起着关键作用。
• 通过使用未在原始知识库中出现的实体的词向量表示，该模型能够推断其关系，从而实现零样本泛化。
• 对多词实体名称使用词向量平均策略，增强了统计强度，并实现了跨实体名称的泛化能力。
• 该模型的双线性张量交互机制相比线性或Hadamard基方法提供了更具表达力的关系函数，从而在排序和分类任务上均表现出更优性能。