[论文解读] Machine Learning of Generic and User-Focused Summarization

Inderjeet Mani, Eric Bloedorn|ArXiv.org|Nov 2, 1998

Topic Modeling参考文献 27被引用 117

一句话总结

本文提出一种机器学习方法，通过文档及其摘要的训练语料库，自动学习通用型和用户聚焦型文本摘要的显著性函数。通过应用C4.5规则和SCDF等算法处理特征向量（如位置、tf.idf、关键词数量），系统学习到可解释且高性能的规则，在用户聚焦型摘要中表现尤为突出，其中关键词特征主导了性能提升。

ABSTRACT

A key problem in text summarization is finding a salience function which determines what information in the source should be included in the summary. This paper describes the use of machine learning on a training corpus of documents and their abstracts to discover salience functions which describe what combination of features is optimal for a given summarization task. The method addresses both "generic" and user-focused summaries.

研究动机与目标

• 开发一种可训练的摘要系统，从训练数据中学习显著性函数，无需人工特征工程。
• 比较多种机器学习算法（C4.5规则、SCDF、AQ）在学习通用型与用户聚焦型摘要规则方面的性能表现。
• 研究不同文本特征（如位置、词频、关键词、连贯性）对摘要性能的影响。
• 评估所学规则在不同压缩率（源文本长度的5%至30%）下的稳定性与泛化能力。
• 评估所学规则的可解释性与实际可用性，以支持人工优化。

提出的方法

• 该方法将每个摘要视为查询，基于与摘要的重叠程度为源句分配相关性得分。
• 通过相关性得分的布尔阈值化处理，将句子标记为正例（摘要句）或负例（非摘要句）。
• 从语言学和结构属性构建特征向量：位置（如导语、结论）、tf.idf得分、关键词数量、连贯性及句法特征。
• 训练机器学习算法（C4.5规则、SCDF、AQ）以学习基于规则的分类器，预测句子是否应包含在摘要中。
• 通过F值和预测准确率评估系统性能，测量不同压缩率和摘要类型下的表现。
• 检查规则的可解释性与潜在人工编辑空间，强调透明性而非黑箱模型。

实验结果

研究问题

• RQ1 不同机器学习算法在学习通用型与用户聚焦型摘要显著性函数方面的表现如何？
• RQ2 在每种摘要类型中，哪些特征（如位置、关键词数量、tf.idf）对句子显著性最具预测力？
• RQ3 学习性能在不同压缩率（5%至30%）下是否稳定？
• RQ4 用户聚焦型摘要所学规则与通用型摘要在特征使用方面存在多大差异？
• RQ5 所学规则在多大程度上可被人类专家有意义地解释并加以改进？

主要发现

• 在用户聚焦型摘要中，句子中的关键词数量是影响性能的最关键特征，显著优于通用型摘要。
• 在用户聚焦型学习中，C4.5规则与SCDF性能几乎相当，且两种方法中关键词特征均主导了规则构建。
• 在通用型摘要中，正例类别比用户聚焦型学习更难线性分离，表明特征间交互作用更复杂。
• 学习曲线显示，用户聚焦型学习在早期即达到平台期（5%压缩率时F值≈0.89），而通用型学习则持续改善至20%压缩率。
• 系统在压缩率5%至30%的范围内保持高性能，准确率下降极小，表明对摘要长度变化具有鲁棒性。
• 所学规则高度可解释，例如：'若句子位于结论部分且tf.idf值高，则为摘要句'，支持人工审查与优化。