[论文解读] Centroid-based summarization of multiple documents: sentence extraction, utility-based evaluation, and user studies

Dragomir Radev, Hongyan Jing+1 more|ArXiv.org|May 12, 2000

Topic Modeling参考文献 3被引用 121

一句话总结

本文提出了MEAD，一种基于主题检测与追踪系统聚类中心的多文档摘要生成系统，通过提取关键句子来生成摘要。该研究提出了基于效用的评估方法与蕴含分析技术用于摘要质量评估，并通过用户研究验证了其方法的有效性，结果表明MEAD生成的摘要在质量与用户偏好方面均优于基线方法。

ABSTRACT

We present a multi-document summarizer, called MEAD, which generates summaries using cluster centroids produced by a topic detection and tracking system. We also describe two new techniques, based on sentence utility and subsumption, which we have applied to the evaluation of both single and multiple document summaries. Finally, we describe two user studies that test our models of multi-document summarization.

研究动机与目标

• 开发一种可扩展的、基于中心点的多文档摘要方法，通过利用主题聚类实现。
• 通过引入句子效用与蕴含分析指标，改进摘要评估方法，适用于单文档与多文档摘要。
• 通过受控用户研究，对比MEAD生成的摘要与基线方法，验证摘要模型的有效性。
• 通过聚焦关键且具代表性的句子，解决多文档摘要中的冗余与相关性问题。
• 提供一种实用的自动化框架，仅需最少的人工输入即可对大规模文档集合进行摘要处理。

提出的方法

• MEAD利用主题检测与追踪系统构建文档聚类，进而计算聚类中心作为主题向量的代表。
• 根据句子与其所属聚类中心的余弦相似度对句子进行排序，相似度越高表示相关性越强。
• 引入基于效用的评估指标，通过综合考虑内容覆盖度与冗余度降低，评估句子的重要性。
• 应用蕴含分析以识别并去除冗余句子，提升摘要的简洁性。
• 采用基于阈值的句子选择机制，从高分排序句子中生成摘要。
• 通过用户研究，基于相关性、连贯性与信息量等人类判断标准，对比MEAD摘要与基线系统的表现。

实验结果

研究问题

• RQ1 基于中心点的句子选择方法在生成连贯且信息丰富的多文档摘要方面效果如何？
• RQ2 基于效用的评估指标与人类对摘要质量的判断之间相关性如何？
• RQ3 蕴含分析能否在不牺牲信息量的前提下有效减少多文档摘要中的冗余？
• RQ4 MEAD生成的摘要与基线系统相比，在用户偏好与感知质量方面表现如何？
• RQ5 主题聚类质量对多文档环境下最终摘要输出的影响如何？

主要发现

• 在受控用户研究中，MEAD生成的摘要在用户偏好评分上显著优于基线系统。
• 基于效用的评估指标与人类对摘要质量的判断具有强相关性，尤其在评估信息量与冗余度方面表现突出。
• 蕴含分析成功减少了冗余内容，使摘要更加简洁且聚焦。
• 与聚类中心相似度高的句子在用户评价中始终被认为更具相关性与信息量。
• 主题聚类与基于中心点的选择机制的结合，显著提升了多样文档集合中摘要的连贯性与主题覆盖度。
• 用户研究证实，与替代方法相比，MEAD生成的摘要在感知上更具实用性且更易理解。