[论文解读] CoKE: Contextualized Knowledge Graph Embedding

Quan Wang, Pingping Huang+7 more|arXiv (Cornell University)|Nov 6, 2019

Advanced Graph Neural Networks参考文献 42被引用 69

一句话总结

CoKE 通过对图的边和路径进行 Transformer 编码，学习动态图态、上下文感知的 KG 实体和关系嵌入，在链接预测和路径查询回答任务上达到最先进的结果。

ABSTRACT

Knowledge graph embedding, which projects symbolic entities and relations into continuous vector spaces, is gaining increasing attention. Previous methods allow a single static embedding for each entity or relation, ignoring their intrinsic contextual nature, i.e., entities and relations may appear in different graph contexts, and accordingly, exhibit different properties. This work presents Contextualized Knowledge Graph Embedding (CoKE), a novel paradigm that takes into account such contextual nature, and learns dynamic, flexible, and fully contextualized entity and relation embeddings. Two types of graph contexts are studied: edges and paths, both formulated as sequences of entities and relations. CoKE takes a sequence as input and uses a Transformer encoder to obtain contextualized representations. These representations are hence naturally adaptive to the input, capturing contextual meanings of entities and relations therein. Evaluation on a wide variety of public benchmarks verifies the superiority of CoKE in link prediction and path query answering. It performs consistently better than, or at least equally well as current state-of-the-art in almost every case, in particular offering an absolute improvement of 21.0% in H@10 on path query answering. Our code is available at \url{https://github.com/PaddlePaddle/Research/tree/master/KG/CoKE}.

研究动机与目标

• 在静态嵌入之外，激励建模 KG 实体和关系的上下文含义。
• 引入将边和路径视为输入的上下文化 KG 嵌入范式。
• 利用 Transformer 编码器获得 KG 组件的上下文特定表示。
• 通过掩码实体预测来训练，以学习能够适应输入上下文的动态嵌入。
• 在链接预测和路径查询回答基准上展示最先进的性能。

提出的方法

• 将图的上下文表示为序列（边 s->r->o 或路径 s->r1->...->rk->o）。
• 用一层层 Transformer 块对序列进行编码，以获得每个元素的上下文化嵌入。
• 对第一个或最后一个元素进行掩码，以创建对缺失实体的预测任务。
• 使用共享的实体嵌入矩阵将预测映射到实体概率分布。
• 用交叉熵损失和标签平滑来预测缺失的实体。
• 在标准的链接预测和路径查询回答协议下进行评估，采用带过滤的排序。

实验结果

研究问题

• RQ1 上下文化、基于序列的 KG 嵌入是否能在链接预测和路径查询回答上超越静态嵌入？
• RQ2 边-和路径基础的上下文如何实现实体和关系的动态图表示？
• RQ3 基于 Transformer 的上下文化嵌入在 KG 完整性任务中是否参数高效？

主要发现

• CoKE 在标准基准（链接预测：FB15k、FB15k-237、WN18、WN18RR）上取得与最先进方法相当的结果。
• 在 FB15k 和 FB15k-237 上，CoKE 的 MRR 和 H@k 超过强基线，例如在 FB15k 的 MRR 约为 0.855，在 FB15k-237 的 MRR 约为 0.364。
• 在 WN18RR 上，CoKE 与基线相匹配或超越，MRR 约为 0.484，H@10 约为 0.553，同时在 WN18 的表现也很强（MRR ~0.952）。
• 在路径查询回答方面，CoKE 相较于前一最优方法在 Freebase 的 H@10 提升了最多 21.0% 的绝对值，并在 WordNet 上实现了显著增长。
• 相对于可比模型，CoKE 保持参数高效，使用相对较小的嵌入维度（D=256）却取得了强劲的结果。