[论文解读] Fast Linear Model for Knowledge Graph Embeddings.

Armand Joulin, Édouard Grave+3 more|arXiv (Cornell University)|Jan 1, 2017

Advanced Graph Neural Networks被引用 3

一句话总结

本文提出一种基于词袋（BoW）表示的快速、简单的线性模型用于知识图谱嵌入，在几分钟内使用fastText即可在知识库补全和问答任务上实现最先进性能。该方法利用实体与关系的共现模式，无需复杂的神经网络架构。

ABSTRACT

This paper shows that a simple baseline based on a Bag-of-Words (BoW) representation learns surprisingly good knowledge graph embeddings. By casting knowledge base completion and question answering as supervised classification problems, we observe that modeling co-occurences of entities and relations leads to state-of-the-art performance with a training time of a few minutes using the open sourced library fastText.

研究动机与目标

• 探究简单、快速的线性模型是否能在知识图谱嵌入任务中实现有竞争力的性能。
• 探索词袋表示在建模知识图谱中实体与关系共现模式方面的有效性。
• 通过最少的计算资源，实现在知识库补全和问答任务中的高效训练与推理。
• 证明无需深度神经网络或复杂优化，即可实现最先进结果。

提出的方法

• 该方法将每个三元组（头实体，关系，尾实体）表示为其组成实体和关系的BoW向量。
• 在这些BoW向量上训练线性分类器，以预测知识图谱三元组中缺失的实体或关系。
• 模型使用fastText进行高效向量化和训练，利用子词信息处理OOV（未登录词）问题。
• 将知识库补全和问答任务建模为监督分类任务。
• 该方法依赖于实体与关系之间的共现统计信息，以捕捉语义模式。
• 通过fastText库加速训练，实现在几分钟内获得结果。

实验结果

研究问题

• RQ1 基于BoW表示的简单线性模型是否能在知识图谱嵌入基准上实现有竞争力的性能？
• RQ2 对实体与关系共现模式的建模在知识库补全和问答任务中有多有效？
• RQ3 基于fastText的BoW特征在多大程度上可替代知识图谱任务中的复杂神经网络架构？
• RQ4 使用该线性基线时，训练速度与性能之间的权衡如何？

主要发现

• 基于BoW的线性模型在标准知识库补全基准上实现了最先进性能。
• 该模型仅需几分钟即可训练完成，显著快于大多数深度学习方法。
• 尽管结构简单，该方法在多个知识图谱数据集上仍优于更复杂的模型。
• 三元组中实体与关系的共现模式对下游任务具有高度信息量。
• 使用fastText可实现高效向量化，并通过子词特征提升对罕见实体的鲁棒性。