[论文解读] Cross-Lingual Natural Language Generation via Pre-Training

Zewen Chi, Dong Li+4 more|arXiv (Cornell University)|Sep 23, 2019

Topic Modeling参考文献 18被引用 11

一句话总结

本文提出 Xnlg，一种跨语言预训练序列到序列模型，通过在单语和跨语言目标上联合预训练编码器和解码器，实现零样本跨语言自然语言生成。该模型将来自资源丰富语言（如英语）的监督信号迁移至资源匮乏语言（如法语、中文），在零样本设置下优于基于机器翻译的流水线方法，并提升了低资源抽象摘要和问题生成任务的性能。

ABSTRACT

In this work we focus on transferring supervision signals of natural language generation (NLG) tasks between multiple languages. We propose to pretrain the encoder and the decoder of a sequence-to-sequence model under both monolingual and cross-lingual settings. The pre-training objective encourages the model to represent different languages in the shared space, so that we can conduct zero-shot cross-lingual transfer. After the pre-training procedure, we use monolingual data to fine-tune the pre-trained model on downstream NLG tasks. Then the sequence-to-sequence model trained in a single language can be directly evaluated beyond that language (i.e., accepting multi-lingual input and producing multi-lingual output). Experimental results on question generation and abstractive summarization show that our model outperforms the machine-translation-based pipeline methods for zero-shot cross-lingual generation. Moreover, cross-lingual transfer improves NLG performance of low-resource languages by leveraging rich-resource language data. Our implementation and data are available at https://github.com/CZWin32768/xnlg.

研究动机与目标

• 通过将单语 NLG 数据集中的监督信号迁移至未见语言，实现零样本跨语言自然语言生成。
• 克服基于机器翻译的流水线方法中存在的错误传播和参数共享不足问题。
• 通过利用资源丰富语言数据进行跨语言迁移，提升低资源语言的性能。
• 设计一种联合优化单语和跨语言目标的预训练策略，以实现跨语言共享语义表示。
• 评估不同微调策略在保持跨语言生成能力方面的有效性。

提出的方法

• 提出 Xnlg，一种在单语和跨语言目标上联合预训练的序列到序列模型，以在共享空间中对齐多语言表示。
• 采用两种关键预训练目标：跨语言自编码（XAE）和去噪自编码（DAE），以增强跨语言迁移并减少虚假相关性。
• 在单语 NLG 数据（如问题生成、抽象摘要）上微调预训练模型，实现对多语言输入和输出的直接评估。
• 探索三种微调策略：全参数微调、仅解码器微调和仅编码器微调，以平衡任务特定性能与跨语言泛化能力。
• 使用英语、中文和法语的多语言训练数据，评估跨语言对之间的零样本和少样本跨语言生成。
• 引入两个新的跨语言 NLG 数据集，分别用于问题生成和抽象摘要，覆盖三种语言。

实验结果

研究问题

• RQ1 单一预训练序列到序列模型是否能在不针对目标语言进行微调的情况下，实现零样本跨语言自然语言生成？
• RQ2 在单语和跨语言目标上联合预训练如何提升 NLG 任务的跨语言迁移能力？
• RQ3 通过利用资源丰富语言数据进行跨语言迁移，是否能提升低资源语言的性能？
• RQ4 不同微调策略如何影响任务特定性能与跨语言泛化能力之间的平衡？
• RQ5 与基于机器翻译的流水线方法相比，Xnlg 在生成质量和错误传播方面表现如何？

主要发现

• Xnlg 在零样本跨语言问题生成中优于基于机器翻译的流水线方法，在中文-中文生成任务中达到 34.93 的 ROUGE-2 分数。
• 仅微调编码器即可获得强大的跨语言性能（中文-中文问题生成任务中 ROUGE-2 为 34.93），而仅微调解码器则因欠拟合导致性能严重下降。
• 消融研究显示，XAE 与 DAE 预训练目标的结合可减少虚假相关性，提升零样本跨语言 NLG 性能。
• 跨语言迁移显著提升了低资源语言（如法语和中文）在少样本抽象摘要任务中的性能，尤其在训练数据有限时表现更优。
• 案例研究显示，Xnlg 生成的输出比 XLM 和流水线基线模型更准确且更接近参考答案，尤其避免了多步翻译带来的错误传播。
• 该模型在英语问题生成任务中表现具有竞争力（ROUGE-2 为 48.74），并在所有语言对之间保持了强大的零样本能力。