[论文解读] CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural Summarization Systems

Yiran Chen, Pengfei Liu+5 more|arXiv (Cornell University)|Oct 11, 2020

Topic Modeling参考文献 34被引用 5

一句话总结

本文提出了 CDEvalSumm，一个用于神经文本摘要模型的跨数据集实证评估框架，旨在评估模型在五个不同数据集上的泛化能力。研究发现，在跨数据集迁移时，生成式模型的鲁棒性显著低于抽取式模型，其中 BART 表现优异且稳定，而基于 BERT 的模型在域内与域外设置下的性能差距通常较大。

ABSTRACT

Neural network-based models augmented with unsupervised pre-trained knowledge have achieved impressive performance on text summarization. However, most existing evaluation methods are limited to an in-domain setting, where summarizers are trained and evaluated on the same dataset. We argue that this approach can narrow our understanding of the generalization ability for different summarization systems. In this paper, we perform an in-depth analysis of characteristics of different datasets and investigate the performance of different summarization models under a cross-dataset setting, in which a summarizer trained on one corpus will be evaluated on a range of out-of-domain corpora. A comprehensive study of 11 representative summarization systems on 5 datasets from different domains reveals the effect of model architectures and generation ways (i.e. abstractive and extractive) on model generalization ability. Further, experimental results shed light on the limitations of existing summarizers. Brief introduction and supplementary code can be found in https://github.com/zide05/CDEvalSumm.

研究动机与目标

• 探究神经摘要模型在域内评估之外的泛化能力。
• 识别模型架构与生成类型（生成式 vs. 抽取式）对跨数据集性能的影响。
• 通过跨数据集评估诊断当前最先进模型的局限性，该评估方式与 ROUGE 和事实性指标相互独立。
• 提出并验证新的评估指标——刚性（stiffness）与稳定性（stability），用于衡量模型在不同域之间的鲁棒性。

提出的方法

• 在某一数据集上训练 11 种具有代表性的摘要模型（包括 SOTA 模型如 BART 和 BERT Match），并在其余四个域外数据集上进行评估。
• 使用 ROUGE 分数作为语义等价性的代理指标，FactCC 用于在跨数据集设置下评估事实性。
• 引入两种新颖的评估指标：'刚性'（域内性能一致性）与'稳定性'（域外性能一致性），用于衡量模型的泛化能力。
• 在五个数据集上进行全面与细粒度的分析：CNN/DailyMail、XSum、PubMed、BigPatent 和 Reddit。
• 同时应用抽取式与生成式生成框架，比较模型在跨数据集迁移下的行为差异。
• 对架构组件（如复制机制与 BERT 集成）进行消融研究，评估其对泛化能力的影响。

实验结果

研究问题

• RQ1 不同神经架构（如 Transformer 与 LSTM，BERT 与 BART）如何影响跨数据集泛化性能？
• RQ2 在域外数据集上评估时，生成式与抽取式摘要模型在泛化行为上是否存在差异？
• RQ3 将 BERT 集成到生成式模型中在多大程度上影响其在不同数据集上的刚性与稳定性？
• RQ4 诸如复制机制或预训练序列到序列模型等架构组件能否提升跨数据集的鲁棒性？
• RQ5 现有事实性评估方法在跨数据集设置下的表现如何？域外模型是否有时会优于域内模型？

主要发现

• 在跨数据集评估下，生成式摘要模型的稳定性显著低于抽取式模型（最高达 37% 的性能差距），表明其具有高度脆弱性。
• SOTA 生成式模型 BART 在域内 ROUGE 分数上表现出高刚性（in-domain ROUGE），在域外 ROUGE 分数上也展现出强稳定性，优于其他生成式模型。
• BERT Match 在刚性（ROUGE）方面表现良好，但在稳定性方面表现较差，尤其是在迁移到 BigPatent B 时，显示出明显的领域敏感性。
• 采用复制机制或在预训练序列到序列模型（如 BART）上微调的模型，在不同领域间表现出更强的鲁棒性。
• 仅在编码器中增加 BERT 可提升域内性能，但会扩大域内与域外性能之间的差距，表明其集成方式不够理想。
• 使用 FactCC 进行事实性评估时，对正样本的预测能力有限；令人意外的是，域外模型在事实性得分上有时甚至超过域内模型。