[论文解读] KEPLER: A Unified Model for Knowledge Embedding and Pre-trained Language Representation

Xiaozhi Wang, Tianyu Gao+5 more|arXiv (Cornell University)|Nov 13, 2019

Topic Modeling参考文献 66被引用 80

一句话总结

KEPLER 通过对实体描述进行编码并与预训练语言模型一起优化知识嵌入和掩码语言模型目标，实现知识嵌入的归纳性并提升NLP性能。

ABSTRACT

Pre-trained language representation models (PLMs) cannot well capture factual knowledge from text. In contrast, knowledge embedding (KE) methods can effectively represent the relational facts in knowledge graphs (KGs) with informative entity embeddings, but conventional KE models cannot take full advantage of the abundant textual information. In this paper, we propose a unified model for Knowledge Embedding and Pre-trained LanguagE Representation (KEPLER), which can not only better integrate factual knowledge into PLMs but also produce effective text-enhanced KE with the strong PLMs. In KEPLER, we encode textual entity descriptions with a PLM as their embeddings, and then jointly optimize the KE and language modeling objectives. Experimental results show that KEPLER achieves state-of-the-art performances on various NLP tasks, and also works remarkably well as an inductive KE model on KG link prediction. Furthermore, for pre-training and evaluating KEPLER, we construct Wikidata5M, a large-scale KG dataset with aligned entity descriptions, and benchmark state-of-the-art KE methods on it. It shall serve as a new KE benchmark and facilitate the research on large KG, inductive KE, and KG with text. The source code can be obtained from https://github.com/THU-KEG/KEPLER.

研究动机与目标

• 通过联合建模知识嵌入和语言建模来弥合知识图谱和预训练语言模型之间的差距。
• 利用实体描述生成文本增强的知识嵌入。
• 通过描述性文本为未见实体实现归纳知识嵌入。
• 在整合事实知识的同时保持强大的语言理解能力，而无需超出标准 PLMs 的推理开销。

提出的方法

• 使用共享的 PLM 对文本实体描述进行编码以获得实体嵌入。
• 在单一多任务框架中联合优化知识嵌入（KE）目标和掩码语言建模（MLM）目标。
• 探索 KE 的变体，包括以实体描述作为嵌入、实体和关系描述作为嵌入，以及基于关系条件的实体嵴嵌入。
• 使用类似 TransE 的评分函数进行 KE，并进行负采样以训练实体和关系表示。
• 从 RoBERTa base 初始化，并在 Wikipedia 与 BookCorpus 上进行预训练，将 KE 目标应用于实体描述的前 512 个 token。

实验结果

研究问题

• RQ1 一个统一模型能否同时学习知识嵌入与语言建模，从而同时提升知识图谱任务和NLP任务？
• RQ2 将实体描述编码为嵌入对归纳知识嵌入和链接预测有何影响？
• RQ3 相较于现有基线，KEPLER 在 NLP 基准和 KE 基准上的性能提升是多少？
• RQ4 当 KE 目标驱动预训练时，MLM 目标在语言理解中的重要性是否仍然存在？
• RQ5 KEPLER 在大规模 KG 数据及未见实体的归纳设置中的表现如何？

主要发现

• KEPLER 变体，特别是 KEPLER-Wiki，在 TACRED、FewRel、OpenEntity 和 GLUE 等 NLP 任务上相比基线取得了较强的表现。
• KEPLER 展示出与最先进方法相当的结果，并在将 KG 派生知识整合后在关系分类和实体类型预测上显示出显著提升。
• KEPLER 作为 KE 模型在 Wikidata5M 的传导性和归纳性连结预测中表现出色，突显了对未见实体的有效归纳能力。
• Wikidata5M 被引入为一个具有对齐实体描述的大规模 KG 数据集，并包含归纳划分，用于基准测试大规模 KG 预训练和归纳 KE。
• 在 GLUE 中，KEPLER-Wiki 与 RoBERTa 相近，表明知识整合并未显著损害一般语言理解；仅描述的较小变体表现较差，强调了多样化 MLM 数据的重要性。