[论文解读] BLEU is Not Suitable for the Evaluation of Text Simplification

Elior Sulem, Omri Abend+1 more|arXiv (Cornell University)|Oct 14, 2018

Text Readability and Simplification参考文献 21被引用 4

一句话总结

本文表明，BLEU 不适用于评估文本简化，尤其是句子拆分任务，因其与简洁性呈负相关，且与人类判断对齐度差。通过使用新的真人标注语料库（HSplit），作者表明 BLEU 无法准确捕捉语法正确性、语义保留性，尤其是简洁性——常对更简洁的拆分句进行惩罚，因此在结构化简化任务中具有误导性。

ABSTRACT

BLEU is widely considered to be an informative metric for text-to-text generation, including Text Simplification (TS). TS includes both lexical and structural aspects. In this paper we show that BLEU is not suitable for the evaluation of sentence splitting, the major structural simplification operation. We manually compiled a sentence splitting gold standard corpus containing multiple structural paraphrases, and performed a correlation analysis with human judgments. We find low or no correlation between BLEU and the grammaticality and meaning preservation parameters where sentence splitting is involved. Moreover, BLEU often negatively correlates with simplicity, essentially penalizing simpler sentences.

研究动机与目标

• 评估 BLEU 在文本简化（TS）中的适用性，特别是作为核心结构操作的句子拆分。
• 解决结构化简化任务中缺乏可靠自动评估指标的问题，尤其在涉及句子拆分时。
• 探究是否可通过聚焦于拆分的参考集，使 BLEU 适用于评估句子拆分。
• 将 BLEU 的表现与简单基线方法 -LD SC 对比，以衡量其在捕捉人类判断维度（如简洁性、语法正确性、语义保留性）方面的表现。

提出的方法

• 构建了一个新的真人标注的黄金标准语料库 HSplit，其中包含经句子拆分处理的多个结构化改写句。
• 对自动指标（BLEU、iBLEU、SARI、-LD SC）与人类判断在语法正确性（G）、语义保留性（M）、简洁性（S）和结构简洁性（StS）方面，进行了系统级和句子级的斯皮尔曼等级相关性分析。
• 使用两种参考设置评估 BLEU：一种是强调词汇操作的标准参考集（Xu et al., 2016），另一种是聚焦于句子拆分的 HSplit 语料库。
• 计算相关系数与 p 值，以评估 BLEU 及基线指标在预测人类判断方面的可靠性。
• 将 BLEU 的表现与 -LD SC（一种与源句的简单相似度度量）进行对比，以检验 BLEU 是否仅作为保守性（与源句相似度）的代理指标。
• 通过对比包含与不包含拆分操作的系统结果，分析句子拆分对 BLEU 分数的影响。

实验结果

研究问题

• RQ1 BLEU 是否与人类对文本简化中简洁性的判断相关，尤其是在涉及句子拆分时？
• RQ2 BLEU 是否能可靠地衡量文本简化输出中的语法正确性和语义保留性，特别是在句子拆分发生时？
• RQ3 当使用专门针对句子拆分设计的参考集（如 HSplit）时，BLEU 的表现是否有所改善？
• RQ4 BLEU 是否主要作为保守性（与源句相似度）的度量，而非简化质量的真实指标？
• RQ5 BLEU 与更简单的基线方法 -LD SC 相比，在预测人类对简化质量判断方面表现如何？

主要发现

• 当使用 HSplit 作为参考集时，BLEU 与简洁性（S）和结构简洁性（StS）呈负相关，系统级斯皮尔曼相关系数分别为 -0.70（p=0.06）和 -0.60（p=0.1），表明其与人类判断严重脱节。
• 在涉及句子拆分时，BLEU 与语义保留性（M）和语法正确性（G）的相关性较低或为零，相关系数分别为 0.11（p=0.4）和 0.57（p=0.1），在 HSplit 设置下表现不佳。
• 即使在标准参考设置下，BLEU 仍与简洁性（S）和结构简洁性（StS）呈负相关，相关系数分别为 0.17（p=3×10⁻⁴）和 0.17（p=3×10⁻⁴），表明其与人类判断的对齐度极差。
• BLEU 与 -LD SC 的相关性很高（BLEU-1ref 为 0.86，p=7×10⁻³，无拆分时；拆分时为 0.52，p=0.04），表明 BLEU 可能主要衡量的是保守性，而非简化质量。
• SARI 仅与简洁性呈现微弱正相关（系统级为 0.26），且与结构简洁性无显著相关性，表明其对结构变化的敏感度有限。
• iBLEU 表现与 BLEU 相当，但相关系数略低，证实问题并非特定于 BLEU 的变体，而是其度量设计本身在结构化简化任务中存在固有缺陷。