[论文解读] KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs

Yinquan Lu, H. Lu+2 more|arXiv (Cornell University)|Sep 9, 2021

Topic Modeling参考文献 37被引用 19

一句话总结

KELM 提出了一种知识增强的微调框架，通过统一的知识增强文本图（UKET）动态地将知识图谱（KG）中的事实知识整合到 BERT 等预训练语言模型中。通过在文本、实体提及和 KG 子图之间进行分层关系消息传递，KELM 解决了知识歧义问题，并在机器阅读理解（MRC）任务上实现了最先进性能，在 ReCoRD 上比之前模型最高提升 +3.2 EM，在 MultiRC 上提升 +3.1 EM。

ABSTRACT

Incorporating factual knowledge into pre-trained language models (PLM) such as BERT is an emerging trend in recent NLP studies. However, most of the existing methods combine the external knowledge integration module with a modified pre-training loss and re-implement the pre-training process on the large-scale corpus. Re-pretraining these models is usually resource-consuming, and difficult to adapt to another domain with a different knowledge graph (KG). Besides, those works either cannot embed knowledge context dynamically according to textual context or struggle with the knowledge ambiguity issue. In this paper, we propose a novel knowledge-aware language model framework based on fine-tuning process, which equips PLM with a unified knowledge-enhanced text graph that contains both text and multi-relational sub-graphs extracted from KG. We design a hierarchical relational-graph-based message passing mechanism, which can allow the representations of injected KG and text to mutually update each other and can dynamically select ambiguous mentioned entities that share the same text. Our empirical results show that our model can efficiently incorporate world knowledge from KGs into existing language models such as BERT, and achieve significant improvement on the machine reading comprehension (MRC) task compared with other knowledge-enhanced models.

研究动机与目标

• 解决现有知识增强的预训练语言模型（PLM）在需要昂贵重预训练以及在知识歧义方面表现不佳的局限性。
• 实现在微调阶段而非预训练阶段的动态、上下文感知知识注入，从而提升在不同领域中的适应能力。
• 通过从多关系知识图谱中选择与上下文最相关的提及实体，解决知识歧义问题。
• 通过无需重训练基础 PLM 的统一图表示，高效融合异构的文本和结构化知识。

提出的方法

• 构建一个统一的知识增强文本图（UKET），整合三部分：仅文本序列、实体提及到 KG 实体的链接，以及以提及实体为中心的注入式 KG 子图。
• 应用分层关系消息传递机制，在文本图、实体链接图和 KG 子图之间交替更新表示。
• 使用基于注意力的评分机制，从 KG 中多个共享相同文本的候选实体中动态选择最符合上下文的实体。
• 采用消息传递策略，在多关系 KG 中传播信息，实现对实体的上下文敏感表示。
• 在微调阶段集成知识注入，避免对基础 PLM 在大规模语料上进行重训练。

实验结果

研究问题

• RQ1 在效率和领域适应性方面，微调阶段的知识注入是否优于基于重预训练的方法？
• RQ2 如何基于文本上下文从 KG 中多个歧义的实体提及中动态选择正确的实体？
• RQ3 在统一的文本-KG 图上进行分层消息传递，是否能提升机器阅读理解中的事实推理能力？
• RQ4 动态知识集成在多大程度上减少了无关或歧义实体候选带来的噪声？

主要发现

• 在 ReCoRD 数据集上，KELM 相较于之前最先进知识增强模型，EM 提升 +3.2，F1 提升 +1.9。
• 在 MultiRC 上，KELM 相较于 BERT_large 提升 +3.1 EM 和 +0.8 F1，相较于 KT-NET 提升 +1.5 在 EM+F1 的综合指标上。
• 通过案例研究显示，该模型能有效解决知识歧义，基于上下文选择正确的实体语义（例如，“ban” 作为名词 vs. 动词）。
• 基于注意力的实体选择机制为上下文相关的实体分配更高权重，例如在示例中“ban.n.04”（0.715）高于“ban.v.02”（0.205）。
• KELM 展现出强大的跨领域泛化能力，无需重训练基础 PLM，可实现对新知识图谱的快速适应。