[论文解读] A Survey of Knowledge Enhanced Pre-trained Models

Jian Yang, Xinyu Hu+2 more|arXiv (Cornell University)|Oct 1, 2021

Topic Modeling参考文献 127被引用 23

一句话总结

本综述系统地提出了知识增强型预训练语言模型（KEPLMs）的全面分类与分析，该类模型将符号知识（如知识图谱）整合到预训练模型中，以提升推理能力、鲁棒性与可解释性。本文根据知识粒度、注入方法及符号参数化方式对KEPLMs进行分类，并识别出在NLP中实现可扩展、一致且通用的知识集成所面临的关键挑战与未来方向。

ABSTRACT

Pre-trained language models learn informative word representations on a large-scale text corpus through self-supervised learning, which has achieved promising performance in fields of natural language processing (NLP) after fine-tuning. These models, however, suffer from poor robustness and lack of interpretability. We refer to pre-trained language models with knowledge injection as knowledge-enhanced pre-trained language models (KEPLMs). These models demonstrate deep understanding and logical reasoning and introduce interpretability. In this survey, we provide a comprehensive overview of KEPLMs in NLP. We first discuss the advancements in pre-trained language models and knowledge representation learning. Then we systematically categorize existing KEPLMs from three different perspectives. Finally, we outline some potential directions of KEPLMs for future research.

研究动机与目标

• 提供对预训练语言模型与知识表示学习的全面综述。
• 基于知识粒度、注入方法与符号参数化方式，提出KEPLMs的新型分类体系。
• 分析不同KEPLM类别在各类NLP任务中的有效性、可解释性与局限性。
• 识别开放性挑战，并提出未来在NLP中实现可扩展、一致且通用的知识集成的研究方向。

提出的方法

• 从三个维度对KEPLMs进行分类：知识粒度（实体、关系、三元组等）、知识注入方法（特征融合、嵌入组合、监督学习、检索机制、规则引导）以及符号知识参数化的程度。
• 分析各类KEPLM的工作原理与权衡，包括计算开销、可解释性以及在下游任务中的性能表现。
• 基于应用范围、知识注入效果、知识管理能力与可解释性，评估现有KEPLMs。
• 提出未来研究方向，如整合程序性知识与元认知知识、开发通用知识表征，以及实现即插即用的知识更新机制。
• 引入机制以验证异构知识源之间的一致性，并缓解多步知识抽取中的误差传播问题。
• 倡导将形式逻辑与PLMs混合集成，以增强复杂自然语言场景下的归纳推理与泛化能力。

实验结果

研究问题

• RQ1 如何系统性地将符号知识集成到预训练语言模型中，以提升推理能力与可解释性？
• RQ2 KEPLMs中各类知识注入方法之间的关键差异与权衡是什么？
• RQ3 不同知识粒度与表示格式如何影响模型性能与一致性？
• RQ4 在动态、现实世界的NLP应用中，维持知识一致性与效率仍面临哪些挑战？
• RQ5 未来KEPLMs应如何支持跨多种知识类型（包括程序性知识与元认知知识）的泛化能力？

主要发现

• 通过注入符号知识（如知识图谱），KEPLMs显著提升了模型的鲁棒性与可解释性，减少了对有偏统计模式的依赖。
• 特征融合型KEPLMs计算开销低，适用于细粒度实体级任务；而嵌入组合型模型在知识驱动的NLP任务中具有更好的泛化能力。
• 基于检索与规则引导的KEPLMs提升了决策透明度，但通常局限于特定应用场景，凸显了对更通用化框架的迫切需求。
• 当前KEPLMs在知识一致性方面仍存在挑战，尤其是在整合异构知识源或处理动态知识更新时，表明亟需更优的对齐与验证机制。
• 将形式逻辑与PLMs结合在提升归纳推理能力方面展现出潜力，而这是标准PLMs面临的主要挑战。
• 未来KEPLMs应支持高效、即插即用的知识存储与更新机制，并具备检测与解决多源知识冲突的能力。