[论文解读] ProphetNet-X: Large-Scale Pre-training Models for English, Chinese, Multi-lingual, Dialog, and Code Generation

Weizhen Qi, Yeyun Gong+10 more|arXiv (Cornell University)|Apr 16, 2021

Topic Modeling参考文献 46被引用 6

一句话总结

ProphetNet-X 引入了一个基于 ProphetNet 架构的统一大规模预训练模型家族，将其扩展至英文、中文、多语言、对话和代码生成任务。通过共享单一模型结构并利用未来 n-gram 预测，ProphetNet-X 在 10 个基准测试中实现了最先进性能，涵盖摘要生成、问题生成和代码摘要任务，且公开提供了模型和微调脚本。

ABSTRACT

Now, the pre-training technique is ubiquitous in natural language processing field. ProphetNet is a pre-training based natural language generation method which shows powerful performance on English text summarization and question generation tasks. In this paper, we extend ProphetNet into other domains and languages, and present the ProphetNet family pre-training models, named ProphetNet-X, where X can be English, Chinese, Multi-lingual, and so on. We pre-train a cross-lingual generation model ProphetNet-Multi, a Chinese generation model ProphetNet-Zh, two open-domain dialog generation models ProphetNet-Dialog-En and ProphetNet-Dialog-Zh. And also, we provide a PLG (Programming Language Generation) model ProphetNet-Code to show the generation performance besides NLG (Natural Language Generation) tasks. In our experiments, ProphetNet-X models achieve new state-of-the-art performance on 10 benchmarks. All the models of ProphetNet-X share the same model structure, which allows users to easily switch between different models. We make the code and models publicly available, and we will keep updating more pre-training models and finetuning scripts.

研究动机与目标

• 将 ProphetNet 框架扩展至支持多种语言和领域中的自然语言生成任务。
• 开发一种统一的模型架构，实现不同语言和领域任务之间的无缝切换。
• 在大规模、多样化的语料库（包括英文、中文、多语言、对话和代码数据）上进行预训练。
• 在自然语言生成、对话和代码生成任务的 10 个公开基准测试中实现最先进性能。
• 公开发布开源模型和微调脚本，以实现广泛可访问性和可重用性。

提出的方法

• ProphetNet-X 模型基于原始 ProphetNet 架构，采用带有多流自注意力机制和未来 n-gram 预测的 Transformer 编码器-解码器结构。
• 模型优化一个联合损失函数：标准语言建模损失与未来 n-gram 预测损失，由可学习系数 αj 加权。
• 每个模型变体（如 ProphetNet-En、ProphetNet-Zh、ProphetNet-Dialog-En）使用相同的模型结构，但采用不同的词汇表和预训练语料。
• 预训练在大规模、领域特定的语料上进行：160GB 英文和中文文本，1.5TB Common Crawl 用于多语言，6000 万条 Reddit 对话会话，以及 1000 万个代码片段用于代码生成。
• 未来 n-gram 预测机制将自回归预测替换为对接下来 n 个标记的联合预测，提升了生成的流畅性与连贯性。
• 通过标准微调脚本对下游任务进行微调，模型选择仅需更改一个配置文件。

实验结果

研究问题

• RQ1 统一的预训练架构是否能在多种自然语言生成任务中实现最先进性能？
• RQ2 未来 n-gram 预测在多语言、对话和代码生成设置中如何提升生成质量？
• RQ3 在不改变架构的前提下，单一模型结构在多语言和多领域任务中的泛化能力有多强？
• RQ4 在大规模、多样化语料上进行预训练是否能提升低资源或专业生成任务的性能？
• RQ5 同一模型架构是否能在自然语言和编程语言生成任务中均实现优异性能？

主要发现

• ProphetNet-En 在 MSNews 摘要基准测试中取得新的最先进结果，ROUGE-L 得分为 40.2，优于 BART 和先前模型。
• ProphetNet-Dialog-Zh 在人类评估中表现显著优于基于检索的 Xiaoice 系统，标注者间 Fleiss’ Kappa > 0.6。
• ProphetNet-Code 在 CodeXGLUE 代码到文本摘要任务中实现最先进性能，CNN/DM 数据集上的平滑 BLEU-4 得分为 32.7。
• ProphetNet-En 在 SQuAD 1.1 问题生成任务中取得新的最先进结果，ROUGE-L 得分为 51.5，超越 BART 和 MASS。
• ProphetNet-Multi 在 XGLUE NTG 和 QG 基准测试中实现最先进性能，展现出强大的跨语言生成能力。
• 所有 ProphetNet-X 模型共享相同架构，仅通过更换模型文件和词汇表即可轻松切换任务。