[论文解读] KgPLM: Knowledge-guided Language Model Pre-training via Generative and Discriminative Learning

Bin He, Xin Jiang+2 more|arXiv (Cornell University)|Dec 7, 2020

Topic Modeling参考文献 28被引用 11

一句话总结

该论文提出KgPLM，一种基于知识引导的预训练框架，通过共享参数联合优化生成式知识补全（掩码跨度预测）与判别式知识验证（跨度替换检查）。利用维基百科和Wikidata的知识结构，KgPLM在MRQA基准上取得最先进性能，在TriviaQA上比RoBERTa提升+1.56 F1，在NewsQA上提升+1.26 F1。

ABSTRACT

Recent studies on pre-trained language models have demonstrated their ability to capture factual knowledge and applications in knowledge-aware downstream tasks. In this work, we present a language model pre-training framework guided by factual knowledge completion and verification, and use the generative and discriminative approaches cooperatively to learn the model. Particularly, we investigate two learning schemes, named two-tower scheme and pipeline scheme, in training the generator and discriminator with shared parameter. Experimental results on LAMA, a set of zero-shot cloze-style question answering tasks, show that our model contains richer factual knowledge than the conventional pre-trained language models. Furthermore, when fine-tuned and evaluated on the MRQA shared tasks which consists of several machine reading comprehension datasets, our model achieves the state-of-the-art performance, and gains large improvements on NewsQA (+1.26 F1) and TriviaQA (+1.56 F1) over RoBERTa.

研究动机与目标

• 通过整合维基百科和Wikidata的结构化知识，提升预训练语言模型的事实知识保留能力。
• 探究联合使用生成式与判别式预训练目标在知识注入中的互补优势。
• 开发一种参数高效的框架，保持RoBERTa的架构不变，且在微调过程中无需修改。
• 评估两种训练方案——双塔与流水线——在知识密集型下游任务中的有效性。
• 证明知识引导的预训练优于标准MLM微调，在知识密集型问答基准上表现更优。

提出的方法

• 提出一种双目标预训练框架：通过掩码跨度预测实现生成式知识补全，通过跨度替换检查实现判别式知识验证。
• 使用混合知识源——维基百科链接结构与Wikidata知识图谱——识别并掩码事实性跨度用于训练。
• 引入两种训练方案：双塔（生成器与判别器并行训练）与流水线（将生成器输出输入判别器）。
• 在生成器与判别器之间使用共享参数，以保持模型效率并支持端到端训练。
• 通过使用知识相近实体构建负样本，提升判别器验证的鲁棒性。
• 在不修改架构的前提下，基于RoBERTa BASE架构进行预训练，实现对下游任务的直接迁移。

实验结果

研究问题

• RQ1 联合训练生成式与判别式目标是否能提升预训练语言模型的事实知识保留能力？
• RQ2 不同预训练方案（双塔 vs. 流水线）如何影响知识引导模型的性能？
• RQ3 使用结构化知识源进行知识引导的预训练是否能在零样本与少样本知识探测任务中带来更好表现？
• RQ4 所提方法与标准MLM预训练及其他知识增强基线在下游问答任务中的表现如何比较？
• RQ5 生成器与判别器组件对最终模型性能的相对贡献是什么？

主要发现

• 采用流水线方案训练的KgPLM在MRQA共享任务基准上达到最先进性能，在TriviaQA上比RoBERTa提升+1.56 F1，在NewsQA上提升+1.26 F1。
• 与RoBERTa相比，该模型在Natural Questions上平均F1提升0.98，在TriviaQA上提升1.56，表明在多个数据集上均保持一致增益。
• 消融实验表明，移除生成器或判别器均导致性能下降，证实二者在知识整合中的互补作用。
• K-Replace模块（用于跨度替换检查）至关重要——移除后性能显著下降，尤其在流水线方案中更为明显。
• 在维基百科上使用标准MLM继续预训练可使RoBERTa平均提升0.53 F1，但KgPLM仍优于该基线，证明知识引导目标的优越性。
• 双塔与流水线方案均优于RoBERTa，其中流水线方案表现最强，尤其在TriviaQA上优势显著。