[论文解读] Combining State-of-the-Art Models with Maximal Marginal Relevance for Few-Shot and Zero-Shot Multi-Document Summarization

David Adams, Gandharv Suri+1 more|arXiv (Cornell University)|Nov 19, 2022

Topic Modeling被引用 4

一句话总结

本文提出了一种基于MMR的新框架，通过结合最先进（SOTA）的预训练模型输出，以提升少样本和零样本多文档摘要（MDS）性能。通过在MMR评分中优先考虑查询相关性而非多样性，该方法在保持SOTA ROUGE指标表现的同时，提升了与人类摘要的单个词项相似度，尤其在低资源设置下表现突出。

ABSTRACT

In Natural Language Processing, multi-document summarization (MDS) poses many challenges to researchers above those posed by single-document summarization (SDS). These challenges include the increased search space and greater potential for the inclusion of redundant information. While advancements in deep learning approaches have led to the development of several advanced language models capable of summarization, the variety of training data specific to the problem of MDS remains relatively limited. Therefore, MDS approaches which require little to no pretraining, known as few-shot or zero-shot applications, respectively, could be beneficial additions to the current set of tools available in summarization. To explore one possible approach, we devise a strategy for combining state-of-the-art models' outputs using maximal marginal relevance (MMR) with a focus on query relevance rather than document diversity. Our MMR-based approach shows improvement over some aspects of the current state-of-the-art results in both few-shot and zero-shot MDS applications while maintaining a state-of-the-art standard of output by all available metrics.

研究动机与目标

• 为解决MDS特定训练数据有限的问题，实现有效的少样本和零样本摘要。
• 在微调不切实际或成本过高的低资源场景中，提升摘要质量。
• 在最小化冗余的同时，结合多个预训练模型的多样化输出，最大化与查询的相关性。
• 证明基于MMR的融合方法无需在MDS数据上微调即可实现SOTA性能。
• 探究在MDS中，以查询为中心的MMR加权是否能优于以多样性为中心的方法。

提出的方法

• 该框架聚合来自多个预训练模型的摘要，包括MDS和SDS微调过的模型。
• 对于在MDS上预训练的模型，将每个文档聚类作为单个文档处理；对于其他模型，则将其拆分为独立文档。
• 在合并的摘要输出上应用MMR算法，对查询相关性施加强烈偏向，而非摘要间的多样性。
• 通过候选句子与LDA生成的查询文档之间的语义相似度计算相关性。
• 通过迭代选择MMR得分最高的句子来构建最终摘要，平衡相关性与冗余性。
• 该方法使用ROUGE指标在Multi-News和WCEP数据集上，于少样本和零样本设置下评估性能。

实验结果

研究问题

• RQ1 通过MMR组合多个SOTA模型，是否能提升少样本和零样本设置下的MDS性能？
• RQ2 在MMR选择中优先考虑查询相关性而非多样性，是否能带来更高的ROUGE得分和更好的摘要质量？
• RQ3 在低资源MDS场景中，该方法与单个模型及现有SOTA方法相比表现如何？
• RQ4 在零样本应用中，包含非MDS预训练模型在多大程度上提升了性能？
• RQ5 基于MMR的融合是否能在提升词级相关性的同时，保持可读性和连贯性？

主要发现

• MMR组合方法在Multi-News数据集上取得了最高的ROUGE-1得分（46.23），优于所有单个模型。
• 在WCEP数据集上，该方法在零样本设置下取得了ROUGE-1得分为30.74，显著优于所有基线模型。
• 尽管ROUGE-2和ROUGE-L得分低于PEGASUS-MDS模型，但MMR组合方法在所有指标上均保持SOTA性能。
• 在零样本WCEP实验中，相对于SOTA模型的相对提升更大，表明在低资源场景下更具有效性。
• 通过选择完整句子，该方法保持了可读性和连贯性，避免了片段化或不连贯的输出。
• 结果表明，非MDS预训练模型对性能有显著贡献，尤其在无法进行微调时。