[论文解读] Mixed-Lingual Pre-training for Cross-lingual Summarization

Ruochen Xu, Chenguang Zhu+3 more|arXiv (Cornell University)|Oct 18, 2020

Topic Modeling参考文献 38被引用 9

一句话总结

本文提出了一种用于跨语言摘要的混合语言预训练框架，该框架在共享的编码器-解码器架构上联合优化单语任务（掩码语言建模、去噪自编码、单语摘要）和跨语言任务（跨语言掩码语言建模、机器翻译）。该方法实现了最先进性能，在NCLS基准测试中，相较于先前方法，中文到英文的ROUGE-1提升2.82点，英文到中文的ROUGE-1提升1.15点。

ABSTRACT

Cross-lingual Summarization (CLS) aims at producing a summary in the target language for an article in the source language. Traditional solutions employ a two-step approach, i.e. translate then summarize or summarize then translate. Recently, end-to-end models have achieved better results, but these approaches are mostly limited by their dependence on large-scale labeled data. We propose a solution based on mixed-lingual pre-training that leverages both cross-lingual tasks such as translation and monolingual tasks like masked language models. Thus, our model can leverage the massive monolingual data to enhance its modeling of language. Moreover, the architecture has no task-specific components, which saves memory and increases optimization efficiency. We show in experiments that this pre-training scheme can effectively boost the performance of cross-lingual summarization. In Neural Cross-Lingual Summarization (NCLS) dataset, our model achieves an improvement of 2.82 (English to Chinese) and 1.15 (Chinese to English) ROUGE-1 scores over state-of-the-art results.

研究动机与目标

• 通过利用大规模未标注单语数据，解决低资源跨语言摘要中的数据稀缺挑战。
• 超越因错误传播而性能受限的两步法流水线方法，提升跨语言摘要性能。
• 开发一种统一的、参数高效的模型架构，无需为不同任务设计专用解码器，以提升优化效率和内存效率。
• 探究无监督预训练目标在提升零样本和低资源跨语言摘要中的贡献。
• 展示在端到端跨语言摘要任务中，同时在单语和跨语言任务上进行多任务预训练的有效性。

提出的方法

• 在单语任务（掩码语言建模（MLM）、去噪自编码（DAE）、单语摘要（MS））的组合上预训练一个共享的多语言编码器-解码器Transformer模型。
• 引入跨语言任务：跨语言掩码语言建模（CMLM）和机器翻译（MT），以提升跨语言表征学习能力。
• 在所有任务中使用共享的多语言词汇表，以实现跨语言和跨任务的参数共享与联合优化。
• 在预训练阶段采用多任务目标，通过平衡加权方式联合优化所有任务，实现语言建模与跨语言对齐的联合优化。
• 使用标准的序列到序列训练方法（交叉熵损失）在下游跨语言摘要任务上微调统一模型。
• 采用RAdam优化器，配合线性热身和指数衰减学习率策略，并使用束搜索解码，束宽为6，最大生成长度为200个标记。

实验结果

研究问题

• RQ1 与特定任务或流水线方法相比，联合在单语和跨语言任务上进行预训练是否能提升跨语言摘要性能？
• RQ2 无监督预训练目标（如MLM、DAE）在零样本或低资源跨语言摘要中的贡献如何？
• RQ3 与使用任务专用解码器的模型相比，所有预训练和微调任务中采用统一编码器-解码器架构是否能提升优化效率和性能？
• RQ4 当标注的跨语言摘要数据有限时，所提出的预训练方案的有效性如何？
• RQ5 各项预训练目标（MLM、DAE、MS、CMLM、MT）对最终摘要性能的相对贡献是什么？

主要发现

• 在NCLS数据集上，所提出的模型在中文到英文的跨语言摘要任务中，相比之前最先进方法，ROUGE-1提升了2.82点。
• 在英文到中文摘要任务中，相比最佳先前结果，模型在ROUGE-1上提升了1.15点。
• 消融实验表明，单语无监督任务（MLM和DAE）对性能提升贡献最大，其次是MT和CMLM。
• 在所有ROUGE指标上，该模型均优于所有流水线基线模型以及强大的端到端模型（包括NCLS、NCLS-MS、NCLS-MT和XNLG）。
• 在仅使用1k或10k训练样本的低资源设置下，预训练模型相比从零开始训练表现出显著更大的性能增益，证明了其对数据稀缺的鲁棒性。
• 与未进行预训练直接微调的模型相比，完整预训练目标使ROUGE-1提升了2.38点，证实了多任务、多语言预训练的价值。