[论文解读] Noisy Self-Knowledge Distillation for Text Summarization

Yang Liu, Sheng Shen+1 more|arXiv (Cornell University)|Sep 15, 2020

Topic Modeling参考文献 60被引用 11

一句话总结

本文提出了一种名为噪声自知识蒸馏（Noisy Self-Knowledge Distillation, Noisy SKD）的方法，用于生成式文本摘要任务。该方法通过在训练过程中向教师模型和学生模型均注入噪声，使学生模型学习教师模型的软化输出分布，从而提升模型的鲁棒性。该方法在CNN/DailyMail、XSum和WikiCatSum数据集上取得了当前最优的性能表现，通过提升泛化能力并减少幻觉现象，尤其在噪声数据或单参考摘要数据集上表现显著。

ABSTRACT

In this paper we apply self-knowledge distillation to text summarization which we argue can alleviate problems with maximum-likelihood training on single reference and noisy datasets. Instead of relying on one-hot annotation labels, our student summarization model is trained with guidance from a teacher which generates smoothed labels to help regularize training. Furthermore, to better model uncertainty during training, we introduce multiple noise signals for both teacher and student models. We demonstrate experimentally on three benchmarks that our framework boosts the performance of both pretrained and non-pretrained summarizers achieving state-of-the-art results.

研究动机与目标

• 为解决最大似然训练在生成式摘要任务中的局限性，特别是在噪声数据或单参考摘要数据集上的表现问题。
• 通过利用软化标签分布的知识蒸馏方法，减少模型幻觉并提升泛化能力。
• 通过在训练过程中向教师模型和学生模型同时引入多种噪声信号，增强模型的鲁棒性。
• 在包括单文档和多文档设置在内的多样化摘要基准上提升性能。
• 在使用预训练和非预训练摘要模型架构的情况下，均实现当前最优结果。

提出的方法

• 学生模型通过知识蒸馏进行训练，其中教师模型生成目标词的软化概率分布，以指导学生模型的学习。
• 在前向传播过程中，通过在教师模型和学生模型上应用dropout和词掩码，向训练信号中注入噪声。
• 在训练过程中应用多种噪声信号，以模拟不确定性并提升模型的泛化能力。
• 该框架在训练期间仅使用单个参考摘要，但通过利用教师模型的输出分布来捕捉人类在摘要生成中的多样性。
• 该方法被应用于非预训练模型和预训练模型（如UniLMv2），并在微调阶段应用知识蒸馏。
• 教师模型首先在相同数据上进行预训练，其输出分布被用作学生模型的软标签。

实验结果

研究问题

• RQ1 在噪声数据或单参考摘要数据集上，使用软化标签分布的自知识蒸馏是否能提升摘要生成性能？
• RQ2 在教师模型和学生模型中同时注入噪声，对生成式摘要中模型的泛化能力和鲁棒性有何影响？
• RQ3 使用教师模型的知识蒸馏是否能减少幻觉并提升生成摘要的事实一致性？
• RQ4 所提出的框架是否能在包括CNN/DailyMail、XSum和WikiCatSum在内的多样化摘要基准上实现当前最优性能？
• RQ5 尽管参数量更小，所蒸馏的学生模型是否在信息量和简洁性方面优于教师模型？

主要发现

• Noisy SKD框架在CNN/DailyMail、XSum和WikiCatSum数据集上均取得了当前最优的ROUGE分数，优于教师模型（UniLMv2 BASE）和基线蒸馏方法。
• 在CNN/DailyMail和XSum数据集上，人工评估显示，学生模型在简洁性和信息量方面显著优于教师模型（p < 0.05），尽管流畅性略低。
• 在WikiCatSum数据集中，学生模型在动物和电影领域优于教师模型，但在公司领域因过度生成实体而表现不佳。
• 该方法在非预训练和预训练模型上均提升了性能，展现出广泛的适用性。
• 引入多种噪声信号增强了模型的泛化能力，减少了过拟合，并提升了对噪声训练数据的鲁棒性。
• 尽管参数量更小，学生模型在ROUGE分数以及信息量和简洁性的主观评估中均优于教师模型。