[论文解读] On (Commercial) Benefits of Automatic Text Summarization Systems in the News Domain: A Case of Media Monitoring and Media Response Analysis

Pashutan Modaresi, Philipp Gross+3 more|arXiv (Cornell University)|Jan 3, 2017

Topic Modeling参考文献 10被引用 9

一句话总结

本研究评估了在媒体监测与响应分析工作流程中使用简单基于查询的抽取式文本摘要系统所带来的商业效益。研究结果表明，使用自动生成摘要的媒体分析师可将处理时间减少约58%，且摘要质量未出现显著下降，证明即使基础的摘要工具也能在真实世界的媒体分析场景中显著提升效率。

ABSTRACT

In this work, we present the results of a systematic study to investigate the (commercial) benefits of automatic text summarization systems in a real world scenario. More specifically, we define a use case in the context of media monitoring and media response analysis and claim that even using a simple query-based extractive approach can dramatically save the processing time of the employees without significantly reducing the quality of their work.

研究动机与目标

• 调查自动文本摘要在真实世界媒体监测与响应分析工作流程中的商业效益。
• 评估使用自动摘要是否能在不损害媒体分析师工作质量的前提下减少处理时间。
• 比较媒体分析师在接收完整文章与自动摘要时所生成摘要的性能与质量。
• 评估摘要系统在实际、具有行业相关性的环境中对工作流程效率与输出质量的影响。

提出的方法

• 开展了一项受控实验，分为两组媒体分析师：A组接收完整新闻文章，B组接收基于预设查询自动生成的抽取式摘要。
• 摘要通过基于查询的抽取式方法生成，从每篇新闻文章中选取与查询相关的关键句子。
• 由媒体分析师进行人工评估，基于完整性和可读性判断摘要质量，结果通过统计检验进行分析。
• 通过箱线图和单因素方差分析（ANOVA）对比两组的处理时间，检验差异是否具有显著性。
• 使用Fisher精确检验评估两组摘要质量差异的统计显著性。
• 采用ROUGE与人工评估结合的方法评估摘要质量，时间节省以效率提升的百分比计算。

实验结果

研究问题

• RQ1 使用自动生成的摘要是否能显著减少媒体分析师创建摘要所花费的时间？
• RQ2 当使用完整文章与自动摘要时，媒体分析师所生成摘要的质量是否存在统计学上的显著差异？
• RQ3 当依赖自动摘要时，媒体分析师是否能持续生成高质量摘要，还是质量存在显著波动？
• RQ4 一个简单的基于查询的抽取式摘要系统是否能在真实世界的媒体监测工作流程中带来可衡量的商业效益？

主要发现

• 使用自动生成摘要的媒体分析师（B组）相比使用完整文章的分析师（A组），平均处理时间减少了58%。
• 单因素方差分析（ANOVA）显示A组与B组在处理时间上存在显著差异，p值小于2×10^−16。
• Fisher精确检验显示A组与B组在摘要质量上无显著差异，p值为0.4225，表明自动摘要未降低质量。
• B组分析师生成的摘要质量在个体间存在显著差异，表明即使有自动支持，用户相关因素仍会影响输出质量。
• 当分析师使用完整文章时，摘要质量未观察到显著差异，表明个体间表现具有一致性基线。
• 结果证实，即使是一个简单的基于查询的抽取式摘要系统，也能在不损害媒体分析输出质量的前提下实现显著的时间节省。