[论文解读] Knowledge Enhanced Pretrained Language Models: A Compreshensive Survey

Xiaokai Wei, Shen Wang+3 more|arXiv (Cornell University)|Oct 16, 2021

Topic Modeling参考文献 110被引用 25

一句话总结

一份关于知识增强的预训练语言模型 KE-PLMs 的综合综述，提出知识来源、粒度和应用三个分类，以及方法、数据集、应用、挑战和未来方向的讨论。

ABSTRACT

Pretrained Language Models (PLM) have established a new paradigm through learning informative contextualized representations on large-scale text corpus. This new paradigm has revolutionized the entire field of natural language processing, and set the new state-of-the-art performance for a wide variety of NLP tasks. However, though PLMs could store certain knowledge/facts from training corpus, their knowledge awareness is still far from satisfactory. To address this issue, integrating knowledge into PLMs have recently become a very active research area and a variety of approaches have been developed. In this paper, we provide a comprehensive survey of the literature on this emerging and fast-growing field - Knowledge Enhanced Pretrained Language Models (KE-PLMs). We introduce three taxonomies to categorize existing work. Besides, we also survey the various NLU and NLG applications on which KE-PLM has demonstrated superior performance over vanilla PLMs. Finally, we discuss challenges that face KE-PLMs and also promising directions for future research.

研究动机与目标

• 促进研究将知识整合到预训练语言模型中，以解决知识意识方面的局限性。
• 提供基于知识来源、粒度和应用的 KE-PLMs 的结构化分类。
• 调研影响力方法、目标与数据集，涵盖 NLU 与 NLG 任务。
• 讨论挑战并为未来 KE-PLM 研究提出有前景的方向。

提出的方法

• 介绍三类分类法，将 KE-PLMs 按 知识来源、粒度 和 应用进行分类。
• 评述跨类别（linguistic、encyclopedia、commonsense、domain-specific）的代表性方法与知识整合策略。
• 总结数据集与应用，展示 KE-PLMs 在 NLU 与 NLG 任务中的性能。
• 通过方法与特征的综合表格对比方法。

实验结果

研究问题

• RQ1 哪些知识来源已被用于构建 KE-PLMs（语言、百科、常识、领域特定）？
• RQ2 在 KE-PLMs 中，知识如何在不同粒度（文本片段、实体、关系、子图）进行整合？
• RQ3 哪些 NLP 任务和应用可从 KE-PLMs 中受益，哪些基准/数据集展示了这些提升？
• RQ4 KE-PLMs 的主要挑战与未来方向有哪些（效率、噪声鲁棒性、知识选择等）？

主要发现

• KE-PLMs 融合了多样的知识来源（语言学、百科、常识、领域特定），以提升超越普通 PLMs 的知识认知。
• 知识在多种粒度上被利用，包括文本片段、实体级线索、关系三元组和子图，并有相应的建模方法。
• KE-PLMs 在一系列 NLU 和 NLG 任务上表现提升，例如实体分类、关系分类、问答、常识推理和文本生成。
• 使用各类数据集和基准（如 LAMA、commonsense QA、KG 相关任务）来评估 KE-PLMs，展示了广泛的适用性。
• 该综述指出挑战（效率、噪声、数据质量）并概述未来工作方向（更广的应用、更多知识来源、鲁棒训练和可扩展推理）。