[论文解读] ROUGE 2.0: Updated and Improved Measures for Evaluation of Summarization Tasks

Kavita Ganesan|arXiv (Cornell University)|Mar 5, 2018

Natural Language Processing Techniques参考文献 3被引用 105

一句话总结

本文提出 ROUGE 2.0，在 ROUGE 的基础上扩展为同义词感知和主题聚焦的评估度量（ROUGE-N+Synonyms, ROUGE-Topic, ROUGE-Topic+Synonyms, ROUGE-TopicUniq, ROUGE-TopicUniq+Synonyms），并提供一个用于改进、具有语义感知的摘要评估的 Java 实现。

ABSTRACT

Evaluation of summarization tasks is extremely crucial to determining the quality of machine generated summaries. Over the last decade, ROUGE has become the standard automatic evaluation measure for evaluating summarization tasks. While ROUGE has been shown to be effective in capturing n-gram overlap between system and human composed summaries, there are several limitations with the existing ROUGE measures in terms of capturing synonymous concepts and coverage of topics. Thus, often times ROUGE scores do not reflect the true quality of summaries and prevents multi-faceted evaluation of summaries (i.e. by topics, by overall content coverage and etc). In this paper, we introduce ROUGE 2.0, which has several updated measures of ROUGE: ROUGE-N+Synonyms, ROUGE-Topic, ROUGE-Topic+Synonyms, ROUGE-TopicUniq and ROUGE-TopicUniq+Synonyms; all of which are improvements over the core ROUGE measures.

研究动机与目标

• 识别原始 ROUGE 度量在捕捉同义词、内容覆盖和主题级评估方面的局限性。
• 提出并定义更新的 ROUGE 度量，以解决语义重叠和主题/子集覆盖问题。
• 提供 ROUGE 2.0 的基于 Java 的实现，以及使用领域特定同义词词典的指南。

提出的方法

• 通过同义词词典引入 ROUGE-{N|Topic|TopicUniq}+Synonyms，以捕捉语义重叠。
• 定义 ROUGE-Topic 和 ROUGE-TopicUniq，以使用基于词性标记的令牌评估主题或子集覆盖。
• 给出 ROUGE-Topic 和 ROUGE-TopicUniq 的正式定义，以及召回和精确度的公式。
• 演示同义词和基于主题的度量如何在示例摘要上影响召回、精确度和 F 分数。
• 描述 Java 实现及与领域/语言特定同义词资源的链接注意事项。

实验结果

研究问题

• RQ1 当存在同义词或仅评估内容主题的子集时，ROUGE 分数是否会产生误导？
• RQ2 同义词感知和主题聚焦的度量是否在不同内容维度上更准确地反映摘要质量？
• RQ3 ROUGE-Topic 和 ROUGE-TopicUniq 变体在衡量内容覆盖和简洁性方面，与标准 ROUGE 相比如何？

主要发现

• 在所示示例中，ROUGE-1 + StopWordRemoval + Synonyms 产生完美召回（1.000），突出语义重叠的改进。
• ROUGE-TopicNN|JJ 与 ROUGE-TopicUniqNN|JJ 在使用同义词时显示出改进的主题覆盖测量，在示例中具有更高的 F 分数。
• ROUGE-TopicUniq 变体减少重复，更好地反映简洁的主题覆盖，相比非 uniq 的主题度量。
• ROUGE 2.0 包以 Java 实现，具有平台灵活性、模块化同义词词典系统和基于词性标记的主题评估。
• 基于表格的演示（示例 1.1）显示同义词和唯一主题度量如何在变体间改变召回/精确度/F 分数。
• ROUGE-2.0 提供如何整合领域特定同义词词典和多种 POS 标记配置的指南。