[论文解读] KG-BERT: BERT for Knowledge Graph Completion

Liang Yao, Chengsheng Mao+1 more|arXiv (Cornell University)|Sep 7, 2019

Advanced Graph Neural Networks参考文献 43被引用 377

一句话总结

KG-BERT 在文本表示的实体与关系上微调 BERT 以对三元组进行评分，在多项基准测试中，在三元组分类、链接预测和关系预测方面达到最新结果。

ABSTRACT

Knowledge graphs are important resources for many artificial intelligence tasks but often suffer from incompleteness. In this work, we propose to use pre-trained language models for knowledge graph completion. We treat triples in knowledge graphs as textual sequences and propose a novel framework named Knowledge Graph Bidirectional Encoder Representations from Transformer (KG-BERT) to model these triples. Our method takes entity and relation descriptions of a triple as input and computes scoring function of the triple with the KG-BERT language model. Experimental results on multiple benchmark knowledge graphs show that our method can achieve state-of-the-art performance in triple classification, link prediction and relation prediction tasks.

研究动机与目标

• 将知识图谱补全作为一个因不完整性和稀疏性而受影响的任务来激励。
• 引入 KG-BERT，一种将 (h, r, t) 三元组视为文本序列并输入到 BERT 的框架。
• 在基准测试中演示三元组分类、链接预测和关系预测的最先进性能。
• 展示上下文丰富的文本增强表示如何提升对知识图谱的推理能力。

提出的方法

• 将头实体、关系和尾实体表示为文本描述或名称，并将它们打包成一个 BERT 输入序列。
• 对预训练的 BERT 模型进行微调，以为三元组的可信性产生一个 2 类（正/负）分数（KG-BERTa）。
• 微调一个变体，在给定两个实体时通过对关系进行 softmax 来预测关系（KG-BERTb）。
• 通过替换头实体或尾实体来构造负样本，以训练用于三元组分类的二元交叉熵损失。
• 使用标准的 Adam 优化，结合基于 BERT 的微调超参数（批量大小 32，学习率 5e-5， dropout 0.1）。
• 在三项任务下进行评估：三元组分类、链接预测和关系预测，使用实数分数和标准评测指标。

实验结果

研究问题

• RQ1 KG-BERT 是否能够准确判断看不见的三元组 (h, r, t) 的可信度？
• RQ2 KG-BERT 能否预测给定两个实体之间的正确关系？
• RQ3 与最先进的 KG 嵌入方法相比，KG-BERT 在链接预测和关系预测上的表现如何？
• RQ4 在知识图谱补全任务中，使用文本描述和上下文嵌入的影响是什么？

主要发现

方法	WN11 / WN11 精确度	FB13 / FB13 精确度	平均值	备注
NTN	86.2	90.0	88.1	Baseline neural tensor network methods (Table 2 context)
TransE	75.9	81.5	78.7	Translational distance model
TransH	78.8	83.3	81.1	TransH extension
TransR	85.9	82.5	84.2	TransR extension
TransD	86.4	89.1	87.8	TransD extension
DistMult	87.1	86.2	86.7	Semantic matching baseline
DistMult-HRS	88.9	89.0	89.0	Hierarchical relation structure
AATE	88.0	87.2	87.6	Text-enhanced model
ConvKB	87.6	88.8	88.2	CNN-based KG embedding
DOLORES	87.5	89.3	88.4	Contextualized KG embeddings
KG-BERT(a)	93.5	90.4	91.9	KG-BERT triple classification, a)

• KG-BERT(a) 在 WN11 上达到 93.5%，在 FB13 上达到 90.4%，在三元组分类中平均 91.9%（超越基线）。
• KG-BERT(a) 在 WN18RR 和 FB15k-237 的链接预测中获得了最佳的平均秩（在测试方法中）。
• KG-BERT(b) 在关系预测上表现强劲，在所报告的结果中在 FB15K 上实现最高的 Hits@1。
• KG-BERT 在三元组分类方面显示出显著的改进，归因于上下文感知的文本丰富表示和对标记的注意力。
• 注意力可视化显示多头注意力聚焦于将实体和关系联系起来的有信息量的词。