[论文解读] Integrating Graph Contextualized Knowledge into Pre-trained Language Models

Bin He, Di Zhou+5 more|arXiv (Cornell University)|Nov 30, 2019

Topic Modeling参考文献 23被引用 41

一句话总结

本论文基于 KG-Transformer 的知识表示学习，使用任意知识子图将图上下文知识融入基于 BERT 的医学语言模型，在医学NLP任务上达到最新状态。

ABSTRACT

Complex node interactions are common in knowledge graphs, and these interactions also contain rich knowledge information. However, traditional methods usually treat a triple as a training unit during the knowledge representation learning (KRL) procedure, neglecting contextualized information of the nodes in knowledge graphs (KGs). We generalize the modeling object to a very general form, which theoretically supports any subgraph extracted from the knowledge graph, and these subgraphs are fed into a novel transformer-based model to learn the knowledge embeddings. To broaden usage scenarios of knowledge, pre-trained language models are utilized to build a model that incorporates the learned knowledge representations. Experimental results demonstrate that our model achieves the state-of-the-art performance on several medical NLP tasks, and improvement above TransE indicates that our KRL method captures the graph contextualized information effectively.

研究动机与目标

• 通过对知识图谱中的任意子图建模来学习更丰富的节点表示，而不是单一三元组。
• 开发基于 Transformer 的 KG-Transformer，以从子图中学习联合实体和关系嵌入。
• 将学习到的图知识整合到预训练语言模型中，以提升医学NLP任务。
• 在医学领域的实体类型分配（entity typing）和关系分类上展示改进的性能。

提出的方法

• 将子图表示为节点序列，并将关系转换为图节点，以实现实体与关系的联合学习。
• 使用基于 Transformer 的 KG-Transformer，结合尊重图连接性的掩码注意力机制，对图结构输入进行编码。
• 通过对恢复的三元组使用边际化的翻译能量损失进行训练，以获得知识嵌入。
• 通过将 KG 派生嵌入整合到大规模 PubMed/医学语料库中，对医学语言模型（BERT-MK）进行预训练。
• 在实体类型和关系分类数据集上进行评估，以与 BERT-家族基线和基于 TransE 的方法进行比较。

实验结果

研究问题

• RQ1 用 Transformer 对任意子图建模是否能在知识表示上优于基于三元组的方法如 TransE？
• RQ2 通过 KG-Transformer 嵌入的图上下文知识是否能提升预训练语言模型在医学 NLP 任务上的表现？
• RQ3 KG-Transformer 与传统 KRL 方法在关系分类和实体类型方面有何比较？
• RQ4 预训练数据规模对图增强语言模型效果有何影响？
• RQ5 在下游任务中，学习到的实体和关系嵌入如何与基于 BERT 的医学语言模型互动？

主要发现

• BERT-MK 在平均实体类型准确率上优于 BERT-Base、BioBERT 和 SCIBERT（97.26 比 97.24、97.02、97.26 分别）。
• 在关系分类上，BERT-MK 在各数据集上实现更高的平均 F1（81.23 P，85.32 R，83.02 F1）相比基线。
• 基于 KG-Transformer 的知识表示在两个关系分类数据集上相比 MedERNIE（TransE 基于）获得 0.9 和 0.64 的更高 F1。
• 随着预训练数据的增加，BERT-MK 对 MedERNIE 的持续优势，表明整合更丰富的医学知识的好处。
• 仅用医学预训练数据的 10–20%，BERT-MK 就能超越 BioBERT，表明知识整合可以在降低计算成本的同时提升性能。