[论文解读] Joint Representation Learning of Text and Knowledge for Knowledge Graph Completion

Xu Han, Zhiyuan Liu+1 more|arXiv (Cornell University)|Nov 13, 2016

Topic Modeling参考文献 24被引用 38

一句话总结

该论文提出了一种联合表示学习框架，通过使用基于CNN的文本编码和TransE进行知识图谱嵌入，将词语、实体和关系嵌入到共享的连续向量空间中。该模型通过同时利用结构化知识和非结构化文本，在实体预测、关系预测和关系分类任务上显著提升了性能，且在所有任务中均优于基线模型。

ABSTRACT

Joint representation learning of text and knowledge within a unified semantic space enables us to perform knowledge graph completion more accurately. In this work, we propose a novel framework to embed words, entities and relations into the same continuous vector space. In this model, both entity and relation embeddings are learned by taking knowledge graph and plain text into consideration. In experiments, we evaluate the joint learning model on three tasks including entity prediction, relation prediction and relation classification from text. The experiment results show that our model can significantly and consistently improve the performance on the three tasks as compared with other baselines.

研究动机与目标

• 解决现有方法在表示学习中将知识图谱与纯文本分开处理的局限性。
• 通过联合学习结构化知识与非结构化文本，提升知识图谱补全性能。
• 构建一个统一的嵌入空间，使词语、实体和关系能够共同表示，以实现更好的语义对齐。
• 通过使用深度神经网络编码句子语义，减少对复杂语言学解析的依赖。
• 通过在训练过程中利用知识图谱信号，提升从文本中进行关系分类的性能。

提出的方法

• 该模型使用深度神经网络（CNN）进行文本编码，将实体、关系和词语联合嵌入到共享的连续向量空间中。
• 采用TransE作为知识图谱嵌入的基础模型，将关系建模为头实体与尾实体之间的向量平移。
• 使用卷积神经网络（CNN）对文本关系进行编码，以捕捉句子中的局部句法和语义模式。
• 通过统一的目标函数对齐词语表示、实体嵌入和关系向量，同时优化知识图谱三元组和文本关系实例。
• 联合学习过程整合了知识图谱和纯文本的监督信号，实现表示的相互增强。
• 模型采用端到端训练，损失函数结合了知识图谱补全和关系分类的目标。

实验结果

研究问题

• RQ1 联合学习文本与知识图谱是否能提升知识图谱中实体预测的性能？
• RQ2 在使用实体和关系嵌入时，整合纯文本是否能提高关系预测的准确性？
• RQ3 与仅使用文本的孤立模型相比，联合学习是否能在从非结构化文本中进行关系分类时取得更优性能？
• RQ4 与仅使用知识图谱或仅使用文本的基线模型相比，联合模型表现如何？
• RQ5 同时结合知识与文本在多大程度上能降低噪声并提升对新实体的泛化能力？

主要发现

• 在所有关系类型的联合模型中，关系预测准确率达到91.6%，显著优于TransE的87.2%。
• 在实体预测任务中，联合模型相比TransE表现更优，且在所有关系类别中均保持一致的性能提升。
• 在从文本中进行关系分类时，联合CNN模型（Joint-CNN）在所有精确率-召回率范围内均优于独立的CNN模型。
• 模型在稀有关系类型（如'1对1'和'1对N'）上表现出特别显著的性能提升，表明其泛化能力更强。
• 联合学习框架提升了表示质量，从而在下游任务（如关系抽取和知识图谱补全）中实现更优性能。
• 结果表明，通过深度神经网络将知识图谱与纯文本结合，可生成更具信息量和鲁棒性的嵌入表示。