[论文解读] Extractive Summarization: Limits, Compression, Generalized Model and Heuristics

Rakesh Verma, Daniel Lee|arXiv (Cornell University)|Apr 18, 2017

Topic Modeling参考文献 29被引用 6

一句话总结

本文通过 ROUGE 评估，在 DUC 数据集上研究了抽取式摘要的内在极限，证明即使是最优的抽取式系统，与人类抽象式摘要相比，其 ROUGE-1 召回率也无法超过约 90%。本文提出了一种广义摘要模型，定义了文档可压缩性，并评估了启发式方法，结果表明当前最先进系统在单文档摘要任务中仅能达到理论召回率极限的约 54%。

ABSTRACT

Due to its promise to alleviate information overload, text summarization has attracted the attention of many researchers. However, it has remained a serious challenge. Here, we first prove empirical limits on the recall (and F1-scores) of extractive summarizers on the DUC datasets under ROUGE evaluation for both the single-document and multi-document summarization tasks. Next we define the concept of compressibility of a document and present a new model of summarization, which generalizes existing models in the literature and integrates several dimensions of the summarization, viz., abstractive versus extractive, single versus multi-document, and syntactic versus semantic. Finally, we examine some new and existing single-document summarization algorithms in a single framework and compare with state of the art summarizers on DUC data.

研究动机与目标

• 在 ROUGE 评估下，识别抽取式摘要器在 DUC 数据集上的内在性能极限。
• 定义并分析不同文本类型中文档可压缩性的概念。
• 开发一种广义摘要模型，统一抽象式/抽取式、单文档/多文档以及句法/语义维度的摘要任务。
• 在统一框架内评估并比较现有及新型启发式方法在单文档摘要中的表现。
• 评估最先进系统与标准基准上理论性能上限之间的差距。

提出的方法

• 证明最优抽取式摘要等价于最小覆盖问题，确立其 NP 完全性，并提供一种贪心对数近似算法。
• 使用 ROUGE 指标（ROUGE-1、ROUGE-2、ROUGE-LCS）评估摘要性能，与标准人类抽象式摘要进行对比。
• 引入并评估多种启发式方法：基于大小的、大小+动态规划的、TF-IDF 的，以及用于句子选择的自底向上动态规划方法。
• 将广义模型应用于分析新闻文章、科技论文和短篇小说等不同类型文本的可压缩性。
• 将基于启发式的摘要器与最先进系统（如 SynSem、KKV、TextRank、MEAD、McDonald）以及 DUC 2002 基线（前 100 个词）进行比较。
• 对所有摘要均截断至 100 个词，以确保在 DUC 2001 和 DUC 2002 数据集上的公平比较。

实验结果

研究问题

• RQ1 在使用人类抽象式摘要作为参考时，抽取式摘要器在 DUC 2001 和 DUC 2002 数据集上的理论召回率极限是多少？
• RQ2 文档的可压缩性在新闻、科技论文和短篇小说等不同文本类型中如何变化？
• RQ3 现有摘要启发式方法（如 TF-IDF、贪心法、自底向上法）在多大程度上接近理论性能极限？
• RQ4 最先进系统在 ROUGE F1 分数上与理论极限及 DUC 2002 基线（前 100 个词）相比如何？
• RQ5 广义摘要模型能否统一抽象式/抽取式、单文档/多文档以及句法/语义维度的摘要任务？

主要发现

• 在 DUC 2001-2002 数据集上，人类抽象式摘要的平均 ROUGE-1 召回率约为 90%，为抽取式系统设定了上限。
• 对于单文档摘要，表现最佳的启发式方法（自底向上）达到 ROUGE-1 F1 得分为 0.444，约为理论召回率极限的 54%。
• 动态规划算法在 ROUGE-1 F1（0.444）和 ROUGE-LCS F1（0.408）上均达到最高分，优于大多数基线和最先进系统。
• DUC 2002 基线（前 100 个词）的 ROUGE-1 F1 得分为 0.462，优于多个先进系统，包括 KKV 和 TextRank。
• 对于多文档摘要，性能极限显著更低——最先进系统仅能达到理论召回率上限的约三分之一。
• 自底向上和动态规划启发式方法在 ROUGE-LCS 上表现强劲，F1 分别为 0.408 和 0.408，甚至优于 SynSem 和 KKV 在此指标上的表现。