[论文解读] Better Summarization Evaluation with Word Embeddings for ROUGE

Jun-Ping Ng, Viktoria Abrecht|arXiv (Cornell University)|Aug 25, 2015

Topic Modeling参考文献 13被引用 12

一句话总结

本文提出 ROUGE-WE，即 ROUGE 指标的增强版本，通过使用预训练词嵌入将词汇重叠替换为语义相似性，以改进文本摘要的评估。通过测量语义相似性而非表面层面的词匹配，ROUGE-WE 在 TAC AESOP 评估中显著提高了与人类判断的相关性，其斯皮尔曼等级相关系数和肯德尔等级相关系数均优于最先进的系统 C_S_IIITH3。

ABSTRACT

ROUGE is a widely adopted, automatic evaluation measure for text summarization. While it has been shown to correlate well with human judgements, it is biased towards surface lexical similarities. This makes it unsuitable for the evaluation of abstractive summarization, or summaries with substantial paraphrasing. We study the effectiveness of word embeddings to overcome this disadvantage of ROUGE. Specifically, instead of measuring lexical overlaps, word embeddings are used to compute the semantic similarity of the words used in summaries instead. Our experimental results show that our proposal is able to achieve better correlations with human judgements when measured with the Spearman and Kendall rank coefficients.

研究动机与目标

• 解决 ROUGE 对词汇相似性的偏倚问题，该问题削弱了其在具有重述的生成式摘要评估中的有效性。
• 通过引入词嵌入而非仅依赖表面层面的 n-gram 重叠，提升自动摘要评估中的语义相似性度量。
• 提升 ROUGE 与人类判断的相关性，尤其针对词汇不同但语义等价的摘要。
• 通过减少对精确词匹配的依赖，扩展 ROUGE 在生成式摘要中的适用性。
• 证明通过词嵌入实现的语义相似性能带来比传统 ROUGE 变体更稳健且更符合人类判断的评估指标。

提出的方法

• 采用 word2vec 嵌入将词语映射到密集向量空间，使语义相似性与向量距离相关。
• 将 ROUGE 的词汇重叠计算替换为词嵌入之间的语义相似性，适用于一元组、二元组和跳跃二元组。
• 通过一元组词嵌入的逐元素相乘来构建二元组表示，以在短语级比较中保留语义含义。
• 将增强的语义相似性整合到 ROUGE 变体中：ROUGE-WE-1、ROUGE-WE-2 和 ROUGE-WE-SU4。
• 使用非参数等级相关性（斯皮尔曼与肯德尔）评估系统得分与人类判断的一致性。
• 在 TAC AESOP 2011 数据集上进行评估，将结果与基线 ROUGE 及表现最佳的 AESOP 系统进行比较。

实验结果

研究问题

• RQ1 词嵌入能否通过捕捉超越词汇重叠的语义相似性，提升 ROUGE 与人类判断的相关性？
• RQ2 在与人类标注的一致性等级相关性方面，ROUGE-WE 相较于最先进的系统（如 C_S_IIITH3 和 BE-HM）表现如何？
• RQ3 使用词嵌入是否能提升 ROUGE 对具有显著重述的生成式摘要的评估适用性？
• RQ4 为何 ROUGE-WE-2 与 ROUGE-WE-SU4 在跳跃二元组（SU4）设置下表现出不同的性能模式？
• RQ5 通过词嵌入相乘实现的语义组合能否有效表示摘要评估中的短语级语义？

主要发现

• ROUGE-WE-1 与人类金字塔评分的斯皮尔曼相关系数达到 0.9138，优于顶级 AESOP 系统 C_S_IIITH3 的 0.9033。
• ROUGE-WE-1 的肯德尔 tau 系数为 0.7534，略高于 C_S_IIITH3 的 0.7582，表明与人类判断具有更强的一致性。
• ROUGE-WE-2 在所有相关性度量上均持续优于 ROUGE-2，证明了在连续二元组评估中语义相似性的优势。
• ROUGE-WE-SU4 在金字塔评分与响应性评估中表现逊于 ROUGE-SU4，可能是因为在非连续跳跃二元组中难以有效组合语义含义。
• 词嵌入的乘法组合在连续二元组（ROUGE-WE-2）中表现优于跳跃二元组（ROUGE-WE-SU4），表明当前组合模型存在局限性。
• ROUGE-WE-1 在基线 ROUGE 及其他领先系统中表现更优，验证了语义相似性在摘要评估中的有效性。