[论文解读] Composing Knowledge Graph Embeddings via Word Embeddings

Lianbo Ma, Peng Sun+2 more|arXiv (Cornell University)|Sep 9, 2019

Advanced Graph Neural Networks参考文献 27被引用 8

一句话总结

本论文提出了一种名为 TransW 的新方法，通过利用预训练词嵌入来表示实体和关系，从而实现对未见（未知）实体和关系的有效推理。通过学习从词嵌入空间到知识嵌入空间的映射，TransW 在链接预测和三元组分类任务上达到最先进性能，尤其在具有丰富文本关系的知识图谱（如 FB13 和 FB15K）上表现突出。

ABSTRACT

Learning knowledge graph embedding from an existing knowledge graph is very important to knowledge graph completion. For a fact $(h,r,t)$ with the head entity $h$ having a relation $r$ with the tail entity $t$, the current approaches aim to learn low dimensional representations $(\mathbf{h},\mathbf{r},\mathbf{t})$, each of which corresponds to the elements in $(h, r, t)$, respectively. As $(\mathbf{h},\mathbf{r},\mathbf{t})$ is learned from the existing facts within a knowledge graph, these representations can not be used to detect unknown facts (if the entities or relations never occur in the knowledge graph). This paper proposes a new approach called TransW, aiming to go beyond the current work by composing knowledge graph embeddings using word embeddings. Given the fact that an entity or a relation contains one or more words (quite often), it is sensible to learn a mapping function from word embedding spaces to knowledge embedding spaces, which shows how entities are constructed using human words. More importantly, composing knowledge embeddings using word embeddings makes it possible to deal with the emerging new facts (either new entities or relations). Experimental results using three public datasets show the consistency and outperformance of the proposed TransW.

研究动机与目标

• 解决现有知识图嵌入模型在处理训练数据中未出现的未知实体和关系时的局限性。
• 利用词嵌入的语义丰富性来表示由多个词组成的实体和关系。
• 构建从词嵌入空间到知识嵌入空间的映射函数，以实现对未见事实的泛化。
• 通过组合构成新实体和关系的词嵌入，实现对新实体和关系的零样本推理。
• 通过引入词嵌入中的词汇和语义信息，提升知识图补全任务的性能。

提出的方法

• 将每个实体和关系表示为词的序列，并使用预训练词嵌入来编码其语义含义。
• 学习一个可微分的映射函数 $ g: \mathbb{W} \rightarrow \mathbb{K} $，从词嵌入空间 $ \mathbb{W} $ 映射到知识嵌入空间 $ \mathbb{K} $，其中 $ \mathbb{W} $ 和 $ \mathbb{K} $ 均为低维向量空间。
• 通过学习到的映射函数聚合头实体、关系和尾实体的词嵌入，组合生成三元组 $ (h, r, t) $ 的知识图嵌入。
• 改进 TransE 的评分函数 $ f_r(\mathbf{h}, \mathbf{t}) = \| \mathbf{h} + \mathbf{r} - \mathbf{t} \|_2^2 $，但使用基于词级表示的嵌入。
• 使用负采样和随机梯度下降端到端训练模型，以最小化已知三元组上的排序损失。
• 以实体和关系名称作为词嵌入层的输入，从而基于其文本形式实现对新实体或关系的零样本推理。

实验结果

研究问题

• RQ1 能否有效利用词嵌入来组合未见实体和关系的知识图嵌入？
• RQ2 将词嵌入中的词汇语义信息引入是否能提升知识图补全任务中的泛化能力？
• RQ3 所提出的 TransW 模型在链接预测和三元组分类任务中与现有最先进模型相比表现如何？
• RQ4 TransW 的性能在多大程度上依赖于底层词嵌入的质量和语义丰富性？
• RQ5 该模型能否泛化到原始知识图中头实体、尾实体或关系均不存在的新事实？

主要发现

• 在 FB13 数据集上，TransW 的 HITS@10 得分为 47.93，显著优于 TransE（32.65）和 TransR（26.83），表明其在链接预测任务上的优越性能。
• 在 FB15K 数据集上，TransW 的 HITS@10 得分为 35.94，优于 TransD（35.22）和 TransH（25.80），表明其在大规模知识图上的强大泛化能力。
• 在三元组分类任务中，TransW 在 FB13 上达到 87.5% 的准确率，超过大多数基线模型，包括 TransD（87.7%）和 ManifoldE（87.2%），仅以 0.2% 的微小差距落后于最佳性能模型。
• 在 WN11 上，TransW 在三元组分类中达到 81.1% 的准确率，优于 TransE（75.7%）和 Complex（60.0%），表明其在更简单、基于词汇的知识图上也具有有效性。
• 该模型在具有丰富关系语义的图谱（如 FB13）上表现出一致的性能提升，其中关系为多词且语义相近，表明词级组合能增强语义泛化能力。
• TransW 通过从词嵌入组合新实体和关系的嵌入，展示了对未知实体和关系的零样本能力，验证了该方法的核心假设。