[论文解读] A Survey on Knowledge-Enhanced Pre-trained Language Models

Chaoqi Zhen, Yanlei Shang+4 more|arXiv (Cornell University)|Dec 27, 2022

Topic Modeling被引用 5

一句话总结

本综述提供了知识增强型预训练语言模型（KEPLMs）的全面、最新概述，系统分析了知识类型、集成方法（隐式与显式）、评估指标、下游应用及未来研究方向。它强调了外部知识如何提升PLM的可解释性、推理能力与鲁棒性，尤其在知识密集型自然语言处理任务中。

ABSTRACT

Natural Language Processing (NLP) has been revolutionized by the use of Pre-trained Language Models (PLMs) such as BERT. Despite setting new records in nearly every NLP task, PLMs still face a number of challenges including poor interpretability, weak reasoning capability, and the need for a lot of expensive annotated data when applied to downstream tasks. By integrating external knowledge into PLMs, extit{\underline{K}nowledge-\underline{E}nhanced \underline{P}re-trained \underline{L}anguage \underline{M}odels} (KEPLMs) have the potential to overcome the above-mentioned limitations. In this paper, we examine KEPLMs systematically through a series of studies. Specifically, we outline the common types and different formats of knowledge to be integrated into KEPLMs, detail the existing methods for building and evaluating KEPLMS, present the applications of KEPLMs in downstream tasks, and discuss the future research directions. Researchers will benefit from this survey by gaining a quick and comprehensive overview of the latest developments in this field.

研究动机与目标

• 为自然语言处理领域的研究人员提供知识增强型预训练语言模型（KEPLMs）的系统性、最新综述。
• 识别并分类KEPLMs中常用的常见知识类型与格式，包括常识性知识、领域特定知识以及结构化知识。
• 分析并比较KEPLMs中隐式与显式知识集成技术，包括知识引导的预训练和记忆增强型架构。
• 使用衡量知识获取、效率及跨任务泛化能力的指标，评估KEPLM的性能。
• 探讨未来研究方向，包括统一的KEPLMs、零样本/少样本学习，以及提升可解释性与鲁棒性。

提出的方法

• 将知识分类为类型，如常识性知识（例如，ConceptNet、ATOMIC）、领域特定知识（例如，生物医学、法律、电商）以及结构化格式（例如，知识图谱、三元组、嵌入）。
• 将知识集成方法分类为隐式方法（例如，知识引导的掩码、预训练任务）与显式方法（例如，输入注入、融合模块、外部记忆检索）。
• 回顾评估策略，重点关注知识获取（例如，探测模型）、效率（例如，推理速度）以及泛化能力（例如，多任务性能）。
• 分析KEPLM在知识密集型自然语言处理任务中的应用，如问答、文本摘要和机器翻译。
• 提出未来研究方向，包括适用于多任务的统一KEPLMs、增强的零样本/少样本学习，以及提升可解释性与鲁棒性。
• 回顾现有KEPLMs，如KGI、KALM和K-BART，突出其设计选择及在KILT等基准上的性能表现。

实验结果

研究问题

• RQ1 用于增强预训练语言模型的主要知识类型与格式是什么？
• RQ2 隐式与显式知识集成方法在设计与有效性方面有何不同？
• RQ3 衡量KEPLM中知识获取、效率与泛化能力的最合适评估指标是什么？
• RQ4 KEPLM如何提升下游知识密集型自然语言处理任务中的性能？
• RQ5 KEPLM面临的关键开放挑战与未来研究方向是什么，尤其是在可解释性、鲁棒性及零样本学习方面？

主要发现

• 通过整合外部知识，KEPLMs 显著提升了模型的可解释性与推理能力，减少了标准PLM的黑箱特性。
• 显式集成方法（如注入知识三元组或使用外部记忆）在问答与摘要等知识密集型任务中表现更优。
• 隐式方法（如知识引导的掩码与预训练任务）无需修改模型架构即可有效注入知识，在计算成本极低的情况下取得优异结果。
• KGI与KALM等模型表明，知识集成可显著增强零样本与少样本学习能力，尤其在低资源场景下。
• 聚焦于知识探测与多任务泛化能力的评估指标表明，KEPLMs 比标准PLMs更能有效学习并保留外部知识。
• 尽管已有进展，KEPLMs在可解释性与鲁棒性方面仍研究不足，表明这是未来研究的关键方向。