[论文解读] A Closer Look at Data Bias in Neural Extractive Summarization Models

Ming Zhong, Danqing Wang+3 more|arXiv (Cornell University)|Sep 30, 2019

Topic Modeling参考文献 32被引用 7

一句话总结

本文研究了数据集偏差——特别是成分和风格因素——对神经抽取式摘要模型泛化能力的影响。通过分析内容和位置覆盖度、密度以及压缩率等属性，作者表明，基于领域或P/C值的简单数据划分可显著提升性能，甚至超越BERT微调，凸显出模型设计应以数据集特征为导向，而非仅依赖预训练模型。

ABSTRACT

In this paper, we take stock of the current state of summarization datasets and explore how different factors of datasets influence the generalization behaviour of neural extractive summarization models. Specifically, we first propose several properties of datasets, which matter for the generalization of summarization models. Then we build the connection between priors residing in datasets and model designs, analyzing how different properties of datasets influence the choices of model structure design and training methods. Finally, by taking a typical dataset as an example, we rethink the process of the model design based on the experience of the above analysis. We demonstrate that when we have a deep understanding of the characteristics of datasets, a simple approach can bring significant improvements to the existing state-of-the-art model.A

研究动机与目标

• 通过分析数据集层面的偏差，诊断当前神经抽取式摘要模型的局限性。
• 理解数据集中成分和风格因素如何影响模型泛化与设计选择。
• 证明基于数据集特征的简单数据划分策略可超越复杂模型架构或预训练方法。
• 通过将数据集属性与模型结构、训练方案及预训练策略相联系，为未来模型设计提供指导。

提出的方法

• 提出四项关键数据集度量：位置覆盖度率、内容覆盖度率、密度和压缩率，以量化数据集特征。
• 分析这些数据集属性对模型设计、训练方案及预训练策略的影响。
• 通过为样本打上领域、P值或C值标签，实施领域感知训练，以提升泛化能力。
• 在多个数据集（CNN/DM、DUC2002、NYT50、Newsroom、arXiv、PubMed）上进行零样本迁移评估，以衡量泛化性能。
• 比较不同的训练方案：联合训练、带显式标签的多领域学习、基于BERT的隐式特征，以及元学习。
• 使用BERT和基础Transformer模型，在不同数据划分方案下评估性能。

实验结果

研究问题

• RQ1 摘要数据集中成分因素（如内容和位置覆盖度）如何影响模型泛化？
• RQ2 风格因素（如密度和压缩率）如何影响抽取式摘要模型的性能与泛化能力？
• RQ3 基于简单数据划分策略（如基于领域或P/C值标签）在多大程度上可提升模型性能，相较于复杂架构或预训练方法？
• RQ4 BERT为何在某些数据集上泛化能力较差？其在何种条件下表现最佳？
• RQ5 基于数据集感知的模型设计能否超越标准预训练与架构工程？

主要发现

• 基于领域（CNN与DailyMail）划分训练集可使ROUGE-1提升0.12，表明简单数据划分策略极为有效。
• 结合BERT使用P值和C值标签的模型达到最佳性能（ROUGE-1为42.77），优于标准BERT微调。
• 元学习模型在分布差异较大的数据集（如arXiv、PubMed）上泛化能力优于BERT，表明元学习对分布外数据适应性更强。
• BERT在低密度和低压缩率数据集（如arXiv、PubMed）上表现欠佳，表明其成功高度依赖于风格因素。
• 随机打标签无任何益处，证实有意义的数据划分必须基于数据集内在属性，而非任意划分。
• 表现最佳的模型（BERT结合P/C值标签）达到ROUGE-1为42.77、ROUGE-2为19.98、ROUGE-L为39.10，表明基于数据集感知的设计可超越标准SOTA方法。