[论文解读] Evaluation of really good grammatical error correction

Robert Östling, Katarina Gillholm+3 more|arXiv (Cornell University)|Aug 17, 2023

Natural Language Processing TechniquesComputer Science被引用 3

一句话总结

本研究使用人工标注的校对结果和多种评估指标，对瑞典语语法错误纠正（GEC）系统进行评估，发现尽管瑞典语仅占其训练数据的0.11%，GPT-3在 few-shot 设置下仍显著优于以往系统。主要贡献在于提出了一套人工校对框架，揭示了自动评估指标中的偏差，并强调了在高性能大语言模型（LLM）驱动的 GEC 系统中，需要采用上下文感知、人机协同的评估方法。

ABSTRACT

Although rarely stated, in practice, Grammatical Error Correction (GEC) encompasses various models with distinct objectives, ranging from grammatical error detection to improving fluency. Traditional evaluation methods fail to fully capture the full range of system capabilities and objectives. Reference-based evaluations suffer from limitations in capturing the wide variety of possible correction and the biases introduced during reference creation and is prone to favor fixing local errors over overall text improvement. The emergence of large language models (LLMs) has further highlighted the shortcomings of these evaluation strategies, emphasizing the need for a paradigm shift in evaluation methodology. In the current study, we perform a comprehensive evaluation of various GEC systems using a recently published dataset of Swedish learner texts. The evaluation is performed using established evaluation metrics as well as human judges. We find that GPT-3 in a few-shot setting by far outperforms previous grammatical error correction systems for Swedish, a language comprising only 0.11% of its training data. We also found that current evaluation methods contain undesirable biases that a human evaluation is able to reveal. We suggest using human post-editing of GEC system outputs to analyze the amount of change required to reach native-level human performance on the task, and provide a dataset annotated with human post-edits and assessments of grammaticality, fluency and meaning preservation of GEC system outputs.

研究动机与目标

• 评估不同 GEC 系统（基于规则、机器翻译、大语言模型）在瑞典语学习者文本上的表现。
• 识别并分析传统基于参考文本的评估指标中所存在的偏差，这些指标倾向于保守的错误修正，而非语言流畅性与整体文本质量的提升。
• 证明人工校对 GEC 输出比自动指标更具可靠性与揭示性。
• 提供一个新数据集，其中包含人工校对结果，以及对每个 GEC 输出的语法正确性、流畅性与语义保持性的评分，以供未来 GEC 评估使用。

提出的方法

• 本研究使用最近发布的瑞典语学习者文本数据集，其中包含最小化、流畅化和自由化的人工校对结果作为参考点。
• 应用基于参考文本的指标（如 GLEU）和无参考文本的指标（如 SOME、Scribendi）来比较系统输出。
• 人工标注者使用五分制量表对系统输出的语法正确性、流畅性与语义保持性进行评估。
• 通过 GEC 输出与人工校对结果之间的归一化字符级 Levenshtein 距离量化后处理距离。
• 分析自动指标与人工判断之间的差异，以揭示评估偏差。
• 创建一个新数据集，其中包含每个 GEC 输出的人工校对结果，以及对语法正确性、流畅性与语义保持性的评估。

Figure 1: Multidimensional scaling view of all text versions, using normalized Levenshtein distance. The resulting graph is a tree, with its root at the “Original” node that represents the original text of the students. Edges represent transformations made by either computers (solid black lines) or

实验结果

研究问题

• RQ1 不同自动评估指标（基于参考文本 vs. 无参考文本）在多大程度上与人工判断的语法正确性、流畅性与语义保持性一致？
• RQ2 基于参考文本的指标在多大程度上无法区分高性能 GEC 系统，尤其是在高级语言水平下？
• RQ3 人工校对能否揭示自动指标所忽略的评估偏差，特别是在大语言模型驱动的系统中？
• RQ4 GPT-3 在 few-shot 设置下与其它 GEC 系统相比，在瑞典语（一种低资源语言）上的表现如何？
• RQ5 当前评估方法在应用于最先进的大语言模型驱动的 GEC 系统时存在哪些局限性？

主要发现

• 尽管瑞典语仅占其训练数据的 0.11%，GPT-3 在 few-shot 设置下仍显著优于所有以往的 GEC 系统，实现了接近人工水平的语法正确性与流畅性。
• 无参考文本指标（如 Scribendi 和 SOME）与人工判断高度相关，但可能更倾向于神经网络系统，甚至超过人工校对结果，表明存在潜在偏差。
• 基于参考文本的指标（如 GLEU）在高水平语言能力下存在天花板效应，无法有效区分机器翻译系统与 GPT-3 等系统，尽管人工评估已明确识别出二者差异。
• 人工校对揭示出所有 GEC 系统的表现均明显低于人类水平，其中 GPT-3 的后处理距离最小，表明其输出质量更高。
• 本研究发现，基于参考文本的评估偏向于保守的错误修正，未能捕捉语义准确性和流畅性的提升。
• 作者证明，人工校对是一种比自动指标更可靠、更具信息量的评估方法，尤其适用于高性能大语言模型驱动的系统。