[论文解读] Features in Extractive Supervised Single-document Summarization: Case of Persian News

Hosein Rezaei, Seyed Amid Moeinzadeh+2 more|arXiv (Cornell University)|Sep 6, 2019

Advanced Text Analysis Techniques参考文献 38被引用 4

一句话总结

本文提出了一种针对波斯语监督式抽取式单文档摘要的文档感知特征工程方法，通过将文档级特征（如长度、主题）整合到句子向量中，提升句子排序性能。实验表明，该方法显著提升了模型精度（R² 从 0.122 提升至 0.176）与摘要质量（ROUGE-F1 超过随机基线），证明上下文感知特征在抽取式摘要中能显著提升性能。

ABSTRACT

Text summarization has been one of the most challenging areas of research in NLP. Much effort has been made to overcome this challenge by using either the abstractive or extractive methods. Extractive methods are more popular, due to their simplicity compared with the more elaborate abstractive methods. In extractive approaches, the system will not generate sentences. Instead, it learns how to score sentences within the text by using some textual features and subsequently selecting those with the highest-rank. Therefore, the core objective is ranking and it highly depends on the document. This dependency has been unnoticed by many state-of-the-art solutions. In this work, the features of the document are integrated into vectors of every sentence. In this way, the system becomes informed about the context, increases the precision of the learned model and consequently produces comprehensive and brief summaries.

研究动机与目标

• 为解决监督式抽取式摘要中句子排序依赖于文档上下文，但多数模型将句子视为独立样本的局限性。
• 通过将文档级特征（如长度、主题类别和结构属性）整合到句子特征向量中，提升模型的泛化能力与精度。
• 证明文档感知特征能显著提升回归模型准确率与摘要质量。
• 通过随机回归建立新基线，以更准确评估抽取式摘要器的性能。

提出的方法

• 该方法将文档级特征（如文档长度、主题类别、句子位置）整合到每个句子的特征向量中，构建文档感知的句子表征。
• 采用监督回归框架，测试了三种回归模型：线性回归、决策树回归与Epsilon-支持向量回归（SVR），其中SVR表现最佳。
• 最终模型采用带有RBF核的SVR，epsilon=0.01，使用默认参数，基于整个数据集的合并句子向量进行训练。
• 在测试集上使用训练好的回归器进行句子排序，通过选取前n名排序的句子生成摘要。
• 评估采用ROUGE指标（精确率、召回率、F1），并与随机回归基线进行性能对比。
• 系统通过网页界面与Telegram机器人实现，以支持公众访问与可复现性。

实验结果

研究问题

• RQ1 将文档级特征整合到句子表征中是否能提升监督式抽取式摘要模型的性能？
• RQ2 文档感知特征的引入如何影响回归模型对句子重要性预测的准确性？
• RQ3 所提方法在ROUGE分数与模型R²方面相较于随机基线的提升程度如何？
• RQ4 文档感知特征是否能降低模型对全局数据集统计特征的依赖，并提升局部文档级别的摘要质量？
• RQ5 文档级特征在树基模型中的决策过程中产生何种影响，特别是在信息增益与熵方面？

主要发现

• 在引入文档感知特征后，均方误差（MSE）从实验1的 0.03448 降低至实验2的 0.03068，表明回归模型精度显著提升。
• 当使用文档感知特征时，R²得分从 0.12238 提升至 0.17576，显示模型拟合度与预测能力显著增强。
• 所提方法的ROUGE-F1分数显著高于随机基线，随机情况下F1值超过50%，但所提模型仍表现出更明显的提升。
• 随机回归基线的ROUGE-F1超过50%，但所提方法仍表现更优，表明模型学习到了超越随机偶然性的有意义模式。
• 结果表明，文档感知特征有助于模型做出更具上下文敏感性的决策，尤其在树基模型中，能减少对全局数据集统计特征的过度依赖。
• 本研究证实，句子排序本质上是依赖于文档的，若在训练中忽略文档边界，将导致性能次优。