[论文解读] Bridging the Gap: Cross-Lingual Summarization with Compression Rate.

Yu Bai, Heyan Huang+4 more|arXiv (Cornell University)|Oct 15, 2021

Topic Modeling参考文献 19被引用 11

一句话总结

本文提出了一种统一框架——跨语言摘要压缩率（CSC），将机器翻译视为压缩率为100%的跨语言摘要的特例。通过利用大规模机器翻译语料库，并采用数据增强方法生成不同压缩率的摘要，该方法提升了跨语言摘要性能，并实现了可控的摘要长度，优于多个强基线模型。

ABSTRACT

Cross-lingual Summarization (CLS), converting a document into a cross-lingual summary, is highly related to Machine Translation (MT) task. However, MT resources are still underutilized for the CLS task. In this paper, we propose a novel task, Cross-lingual Summarization with Compression rate (CSC), to benefit cross-lingual summarization through large-scale MT corpus. Through introducing compression rate, we regard MT task as a special CLS task with the compression rate of 100%. Hence they can be trained as a unified task, sharing knowledge more effectively. Moreover, to bridge these two tasks smoothly, we propose a simple yet effective data augmentation method to produce document-summary pairs with different compression rates. The proposed method not only improves the performance of CLS task, but also provides controllability to generate summaries in desired lengths. Experiments demonstrate that our method outperforms various strong baselines.

研究动机与目标

• 为解决大规模机器翻译（MT）资源在跨语言摘要（CLS）任务中未被充分利用的问题。
• 通过引入压缩率作为共享监督信号，统一CLS与MT任务。
• 通过在不同压缩率下生成文档-摘要对，实现可控的摘要生成。
• 通过从大规模MT语料库进行知识蒸馏，提升CLS性能。

提出的方法

• 提出一项新任务——跨语言摘要压缩率（CSC），将机器翻译建模为压缩率为100%的跨语言摘要。
• 将MT任务视为CLS的一个特例，实现任务间的共享训练与知识迁移。
• 设计一种数据增强方法，生成具有多样化压缩率的合成文档-摘要对。
• 将压缩率用作控制信号，在训练和推理阶段引导摘要长度。
• 在CLS和MT数据上联合训练统一模型，利用任务间的共享表征。
• 采用标准的序列到序列模型并结合注意力机制，基于统一的CSC目标进行微调。

实验结果

研究问题

• RQ1 能否有效重用机器翻译数据以提升跨语言摘要性能？
• RQ2 如何利用压缩率作为统一信号，弥合CLS与MT任务之间的鸿沟？
• RQ3 通过不同压缩率的数据增强，能否提升摘要生成的可控性？
• RQ4 在压缩率监督下联合训练CLS与MT数据，能否提升整体性能？

主要发现

• 所提出的CSC框架在跨语言摘要基准测试中优于多个强基线模型。
• 通过统一训练策略，利用大规模MT语料库有效提升了摘要质量。
• 通过在推理阶段调整压缩率，实现了可控的摘要生成。
• 统一训练方案有效实现了从MT到CLS的知识迁移，增强了模型泛化能力。