[论文解读] Abstractive Summarization for Low Resource Data using Domain Transfer and Data Synthesis

Ahmed Magooda, Diane Litman|arXiv (Cornell University)|Feb 9, 2020

Topic Modeling被引用 8

一句话总结

本文提出一种混合方法，结合领域迁移与基于模板的数据合成，以提升低资源学生反思数据的摘要生成性能。通过在CNN/DailyMail新闻数据上微调预训练模型，并利用合成生成的摘要进行数据增强，该方法在ROUGE分数和人工评估的连贯性方面均优于仅在领域内数据上训练或使用抽取式基线模型的结果。

ABSTRACT

Training abstractive summarization models typically requires large amounts of data, which can be a limitation for many domains. In this paper we explore using domain transfer and data synthesis to improve the performance of recent abstractive summarization methods when applied to small corpora of student reflections. First, we explored whether tuning state of the art model trained on newspaper data could boost performance on student reflection data. Evaluations demonstrated that summaries produced by the tuned model achieved higher ROUGE scores compared to model trained on just student reflection data or just newspaper data. The tuned model also achieved higher scores compared to extractive summarization baselines, and additionally was judged to produce more coherent and readable summaries in human evaluations. Second, we explored whether synthesizing summaries of student data could additionally boost performance. We proposed a template-based model to synthesize new data, which when incorporated into training further increased ROUGE scores. Finally, we showed that combining data synthesis with domain transfer achieved higher ROUGE scores compared to only using one of the two approaches.

研究动机与目标

• 解决学生反思等低资源领域中抽象式摘要生成性能不佳的问题，此类领域缺乏足够的训练数据。
• 探究在域外新闻数据上微调预训练抽象式模型，是否能提升其在领域内学生反思数据上的表现。
• 探索使用基于模板的模型合成额外训练数据，是否能进一步提升摘要生成性能。
• 评估领域迁移与数据合成的联合效应，以确定二者是否产生协同增益。
• 通过自动指标（ROUGE）与人工评估（连贯性与可读性）综合评估生成摘要的质量。

提出的方法

• 首先在领域内学生反思数据上微调一个预训练的抽象式摘要模型（PG-net），该模型最初在CNN/DailyMail新闻数据上进行预训练。
• 开发一种基于模板的数据合成模型，利用语言模式与语义模板从学生反思文档中生成合成摘要。
• 将生成的摘要用于增强抽象模型的预训练与微调阶段的训练数据。
• 通过三种训练设置比较性能：(1) 仅在学生反思数据上训练，(2) 领域迁移（在CNN/DM上预训练，在反思数据上微调），(3) 领域迁移结合合成数据增强。
• 采用基于WordNet的词语替换方法作为基线，用于对比数据合成方法的有效性。
• 开展人工评估，标注者需在三组模型输出中选择最连贯、最易读的摘要：仅CNN/DM训练、仅学生反思数据训练、以及领域迁移模型。

实验结果

研究问题

• RQ1 在域外新闻数据上微调预训练的抽象式模型，是否能提升其在低资源学生反思数据上的摘要生成性能？
• RQ2 使用基于模板的方法合成额外摘要，是否能提升抽象式摘要模型在领域内数据上的表现？
• RQ3 领域迁移与数据合成的结合是否比单独使用任一技术更有效？
• RQ4 经微调的模型生成的摘要是否在连贯性与可读性方面优于仅在领域内数据上训练的模型？
• RQ5 所提出的基于模板的合成模型是否能生成与人类参考摘要质量相当的摘要？

主要发现

• 在学生反思数据上微调预训练模型，相比仅在领域内数据训练或使用抽取式基线，显著提升了ROUGE分数。
• 领域迁移模型在全部四个学生反思语料库中，其ROUGE分数均高于仅使用CNN/DM或仅使用领域内数据训练的模型。
• 使用所提出的基于模板的模型生成摘要，无论用于预训练还是微调，均一致提升了ROUGE分数，且优于基于WordNet的基线方法。
• 领域迁移与数据合成的结合产生了最高的ROUGE分数，最佳效果出现在合成数据同时用于预训练与微调时。
• 人工评估显示，在CS语料中，49%的评估者更偏好领域迁移模型生成的摘要；在Stat2015语料中，该比例为41%，均优于仅使用CNN/DM或仅使用领域内数据训练的模型。
• 尽管基于模板的合成模型在ROUGE指标上并非最优，但其生成的摘要质量与人类参考摘要具有竞争力，且展现出进一步优化的潜力。