[论文解读] KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation

Wenhu Chen, Yu Su+2 more|arXiv (Cornell University)|Oct 5, 2020

Topic Modeling参考文献 49被引用 5

一句话总结

KGPT 提出了一种基于知识的预训练框架，用于数据到文本生成。该框架利用大规模、远程监督的网络语料库（包含（知识子图，文本）对）对模型进行预训练，从而实现强大的 few-shot 和 zero-shot 性能。与基线方法相比，KGPT 将所需标注数据量减少了最多 15 倍，在 WebNLG 上无需任何微调示例即可达到超过 30 的 ROUGE-L 分数。

ABSTRACT

Data-to-text generation has recently attracted substantial interests due to its wide applications. Existing methods have shown impressive performance on an array of tasks. However, they rely on a significant amount of labeled data for each task, which is costly to acquire and thus limits their application to new tasks and domains. In this paper, we propose to leverage pre-training and transfer learning to address this issue. We propose a knowledge-grounded pre-training (KGPT), which consists of two parts, 1) a general knowledge-grounded generation model to generate knowledge-enriched text. 2) a pre-training paradigm on a massive knowledge-grounded text corpus crawled from the web. The pre-trained model can be fine-tuned on various data-to-text generation tasks to generate task-specific text. We adopt three settings, namely fully-supervised, zero-shot, few-shot to evaluate its effectiveness. Under the fully-supervised setting, our model can achieve remarkable gains over the known baselines. Under zero-shot setting, our model without seeing any examples achieves over 30 ROUGE-L on WebNLG while all other baselines fail. Under the few-shot setting, our model only needs about one-fifteenth as many labeled examples to achieve the same level of performance as baseline models. These experiments consistently prove the strong generalization ability of our proposed framework https://github.com/wenhuchen/KGPT.

研究动机与目标

• 通过减少对大规模标注数据集的依赖，解决数据到文本生成的高标注成本问题。
• 开发一种通用模型，使其在仅有少量标注示例的情况下，能够有效适应新领域和新任务。
• 通过基于知识图谱的预训练，提升神经文本生成的事实一致性与泛化能力。
• 探索使用网络爬取的文本和链接的知识三元组进行远程监督预训练的有效性。

提出的方法

• 通过爬取带有超链接的维基百科句子，并将实体链接到 WikiData，提取 1 跳知识三元组，构建大规模基于知识的语料库（KGText）。
• 设计一种选择策略，仅保留语义重叠度高、具有合理性的文本-知识对齐样本，以减少远程监督中的噪声。
• 将下游任务与 KGText 的输入格式统一为通用输入结构，以支持联合预训练。
• 提出一种新型的 KGPT 架构，将知识子图和自然语言文本编码到共享表征空间中。
• 使用基于知识的掩码语言建模范式，在 KGText 语料库上对 KGPT 进行预训练。
• 在下游数据到文本任务（WebNLG、E2ENLG、WikiBio）上，于全监督、few-shot 和 zero-shot 设置下对预训练的 KGPT 进行微调。

实验结果

研究问题

• RQ1 基于知识的预训练框架是否能显著减少数据到文本生成中对标注数据的需求？
• RQ2 在 zero-shot 设置下，KGPT 在未见领域和知识输入上的泛化能力如何？
• RQ3 使用远程监督的网络数据进行预训练，在多大程度上能提升事实一致性和生成质量？
• RQ4 预训练能在多大程度上降低达到目标性能水平所需的样本复杂度？

主要发现

• 在 zero-shot 设置下，KGPT 在 WebNLG 上的 ROUGE-L 分数超过 30，而所有未预训练的基线模型均完全失败，得分为 0。
• 在 few-shot 设置下，KGPT 仅使用 0.1% 的训练数据，BLEU 分数即超过 40，而基线模型生成的文本则为胡言乱语。
• 在 WebNLG、E2ENLG 和 WikiBio 上，KGPT 将达到目标 BLEU-4 分数 30 所需的标注样本数量减少了约 15 倍。
• 人工评估显示，经过预训练的 KGPT 生成的输出在事实一致性方面显著优于未预训练模型，显著减少了幻觉现象。
• 在全监督设置下，KGPT 在全部三个基准数据集上均优于竞争性基线模型，包括 Template-GPT-2 和 Switch-GPT-2。
• 即使在仅使用 50 个训练样本进行微调时，该模型仍保持强大性能，展现出卓越的 few-shot 泛化能力。