[论文解读] Revisiting Summarization Evaluation for Scientific Articles

Arman Cohan, Nazli Goharian|arXiv (Cornell University)|Apr 1, 2016

Topic Modeling参考文献 20被引用 36

一句话总结

本文挑战了 Rouge 作为科学论文摘要评估指标的可靠性，展示了 Rouge 分数与人工 Pyramid 评估之间相关性微弱。本文提出了 Sera（基于相关性分析的摘要评估），一种基于内容相关性的度量方法，其与人类判断的相关性显著更高且更一致，在科学摘要任务中优于所有 Rouge 变体。

ABSTRACT

Evaluation of text summarization approaches have been mostly based on metrics that measure similarities of system generated summaries with a set of human written gold-standard summaries. The most widely used metric in summarization evaluation has been the ROUGE family. ROUGE solely relies on lexical overlaps between the terms and phrases in the sentences; therefore, in cases of terminology variations and paraphrasing, ROUGE is not as effective. Scientific article summarization is one such case that is different from general domain summarization (e.g. newswire data). We provide an extensive analysis of ROUGE's effectiveness as an evaluation metric for scientific summarization; we show that, contrary to the common belief, ROUGE is not much reliable in evaluating scientific summaries. We furthermore show how different variants of ROUGE result in very different correlations with the manual Pyramid scores. Finally, we propose an alternative metric for summarization evaluation which is based on the content relevance between a system generated summary and the corresponding human written summaries. We call our metric SERA (Summarization Evaluation by Relevance Analysis). Unlike ROUGE, SERA consistently achieves high correlations with manual scores which shows its effectiveness in evaluation of scientific article summarization.

研究动机与目标

• 评估 Rouge 作为科学论文摘要标准度量指标的有效性。
• 分析不同 Rouge 变体在与科学摘要人类判断相关性方面的性能差异。
• 解决基于词重叠的度量方法在处理科学文本中常见的术语变化和改写问题时的局限性。
• 提出并验证一种基于内容相关性分析的新评估度量 Sera。
• 为 TAC 2014 科学摘要数据集提供人工标注的 Pyramid 分数。

提出的方法

• 对 TAC 2014 生物医学摘要数据集中摘要的多个 Rouge 变体（Rouge-1、Rouge-2、Rouge-3、Rouge-L 等）与半人工 Pyramid 分数进行综合相关性分析。
• 开发 Sera，一种通过语义和词重叠分析计算系统生成摘要与标准摘要之间内容相关性的度量方法，避免严格匹配 n-gram。
• 采用基于术语和短语对齐的相关性评分机制，侧重于语义内容而非表面词重叠。
• 使用皮尔逊相关性等统计方法，将 Sera 与 Rouge 变体在人类 Pyramid 分数上的表现进行比较。
• 利用人工标注的 Pyramid 分数验证 Sera 和 Rouge 在多个系统输出上的有效性。
• 以 TAC 2014 数据集为主要基准，并公开发布标注结果以确保可复现性。

实验结果

研究问题

• RQ1 考虑到科学摘要中术语变化频繁和改写普遍，Rouge 在评估科学论文摘要时效果如何？
• RQ2 在科学摘要中，不同 Rouge 变体与人类评估分数的相关性是否存在显著差异？
• RQ3 基于内容相关性的度量方法是否能优于 Rouge，更准确地捕捉人类对科学文本摘要质量的判断？
• RQ4 词重叠限制对 Rouge 在科学摘要中可靠性的影响是什么？
• RQ5 是否存在一种比 Rouge 更一致、更可靠的科学摘要评估替代方法？

主要发现

• Rouge 在不同变体之间与人工 Pyramid 分数的相关性微弱且不一致，挑战了其在科学摘要中的可靠性。
• 在所有 Rouge 变体中，Rouge-2 和 Rouge-3 与人类判断的相关性最高，但仍未能达到理想表现。
• Sera 与 Pyramid 分数的相关性始终高于任何 Rouge 变体，显示出与人类评估更优的一致性。
• 研究揭示了 Rouge 变体之间相关性值存在显著差异，表明报告的 Rouge 分数并非统一可靠。
• 所提出的 Sera 度量方法通过聚焦于内容相关性，有效缓解了词重叠的局限性，实现了更稳健的评估。
• TAC 2014 数据集的人工标注 Pyramid 分数已公开，支持可复现性及未来基准测试。