[论文解读] Multi-Document Summarization via Discriminative Summary Reranking

Xiaojun Wan, Ziqiang Cao+3 more|arXiv (Cornell University)|Jul 8, 2015

Topic Modeling参考文献 30被引用 18

一句话总结

本文提出了一种用于多文档摘要的判别式重排序方法，通过整数线性规划（ILP）框架生成候选摘要，并利用排序SVM对候选摘要进行重排序以提升质量。通过整合词、句子和摘要层级的多样化特征，该方法在各类文档集合上均能生成稳健且高质量的摘要，优于DUC基准测试中的单个模型表现。

ABSTRACT

Existing multi-document summarization systems usually rely on a specific summarization model (i.e., a summarization method with a specific parameter setting) to extract summaries for different document sets with different topics. However, according to our quantitative analysis, none of the existing summarization models can always produce high-quality summaries for different document sets, and even a summarization model with good overall performance may produce low-quality summaries for some document sets. On the contrary, a baseline summarization model may produce high-quality summaries for some document sets. Based on the above observations, we treat the summaries produced by different summarization models as candidate summaries, and then explore discriminative reranking techniques to identify high-quality summaries from the candidates for difference document sets. We propose to extract a set of candidate summaries for each document set based on an ILP framework, and then leverage Ranking SVM for summary reranking. Various useful features have been developed for the reranking process, including word-level features, sentence-level features and summary-level features. Evaluation results on the benchmark DUC datasets validate the efficacy and robustness of our proposed approach.

研究动机与目标

• 解决现有摘要模型在不同文档集合上表现不一致的局限性。
• 通过整合多个摘要模型的输出作为候选摘要，提升摘要质量。
• 开发一种稳健的重排序框架，为每个文档集合选择最高质量的摘要。
• 探索判别式重排序的特征工程，包括词级、句子级和摘要级特征。

提出的方法

• 使用整数线性规划（ILP）框架为每个文档集合生成候选摘要，以优化摘要质量。
• 应用排序SVM根据学习到的相关性得分对候选摘要进行重排序。
• 设计全面的特征集合：词级（如词频、显著性）、句子级（如位置、长度）和摘要级（如覆盖度、多样性）。
• 在标注数据上训练排序SVM模型，学习区分高质量与低质量摘要的排序函数。
• 将重排序后的摘要作为最终输出，确保主题覆盖度与连贯性。
• 在标准的DUC基准数据集上评估该框架，以验证其性能与稳健性。

实验结果

研究问题

• RQ1 与依赖单一模型相比，结合多个摘要模型是否能提升摘要质量？
• RQ2 判别式重排序在从多个候选输出中选择最佳摘要方面有多高效？
• RQ3 词级、句子级或摘要级特征中，哪一类对摘要质量的预测能力最强？
• RQ4 所提出的方法是否能在具有不同主题的多样化文档集合上保持高性能？
• RQ5 该重排序框架是否能很好地泛化到未见过的文档集合？

主要发现

• 与DUC基准数据集上的单个摘要模型相比，所提方法显著提升了摘要质量。
• 使用排序SVM的判别式重排序在多样化文档集合上表现出稳健性能，降低了输出质量的波动性。
• 引入摘要级特征（如覆盖度与多样性）显著增强了模型选择全面且无冗余摘要的能力。
• 词级特征（如词频与显著性）在识别重要文本内容方面具有显著贡献。
• 该方法在ROUGE得分上表现出一致的提升，表明其在召回率与F1值方面优于基线模型。
• 即使在个别模型对某些文档集合生成低质量摘要时，该框架仍能保持良好表现，凸显其稳健性。