[论文解读] ChatGPT or Grammarly? Evaluating ChatGPT on Grammatical Error Correction Benchmark

Haoran Wu, Wenxuan Wang+3 more|arXiv (Cornell University)|Mar 15, 2023

Text Readability and Simplification被引用 48

一句话总结

本文在 CoNLL-2014 上使用 ChatGPT 评估语法错误纠错（GEC）任务，并与 Grammarly 和 GECToR 进行比较；还分析自动评估与人工评估的差异，以揭示在表面编辑方面的优势与在长句自动指标上的不足。

ABSTRACT

ChatGPT is a cutting-edge artificial intelligence language model developed by OpenAI, which has attracted a lot of attention due to its surprisingly strong ability in answering follow-up questions. In this report, we aim to evaluate ChatGPT on the Grammatical Error Correction(GEC) task, and compare it with commercial GEC product (e.g., Grammarly) and state-of-the-art models (e.g., GECToR). By testing on the CoNLL2014 benchmark dataset, we find that ChatGPT performs not as well as those baselines in terms of the automatic evaluation metrics (e.g., $F_{0.5}$ score), particularly on long sentences. We inspect the outputs and find that ChatGPT goes beyond one-by-one corrections. Specifically, it prefers to change the surface expression of certain phrases or sentence structure while maintaining grammatical correctness. Human evaluation quantitatively confirms this and suggests that ChatGPT produces less under-correction or mis-correction issues but more over-corrections. These results demonstrate that ChatGPT is severely under-estimated by the automatic evaluation metrics and could be a promising tool for GEC.

研究动机与目标

• 评估 ChatGPT 在语法错误纠正（GEC）方面的有效性。
• 在 CoNLL-2014 上将 ChatGPT 与 Grammarly 及最先进的 GEC 模型（GECToR）进行比较。
• 分析句子长度对 GEC 性能的影响，并检查错误类型与人工评估。
• 展示自动评估指标的局限性，并探索 ChatGPT 在 GEC 方面的潜力。

提出的方法

• 在 CoNLL-2014 测试子集（100 句）上，使用固定提示语评估 ChatGPT。
• 使用 Precision、Recall 和 F0.5 指标将 ChatGPT 与 Grammarly 和 GECToR 进行比较。
• 使用 CoNLL-2014 官方评分器（改为适用于当前 Python 版本）进行自动评估。
• 对输出进行定性分析，包括示例纠正和错误类型类别。
• 进行一个小规模的人类评估（20 句）以将其归类为欠纠错、错误纠错和过度纠错。
• 分析长句与短句的性能差异以及事后纠正（对输出使用 Grammarly）的影响。

实验结果

研究问题

• RQ1 相比 Grammarly 和 GECToR，ChatGPT 是一个用于语法错误纠正（GEC）的好工具吗？
• RQ2 在不同句子长度下，ChatGPT 在 CoNLL-2014 GEC 基准上的表现如何？
• RQ3 自动评估指标与 ChatGPT 在 GEC 中的人类判断是否一致？
• RQ4 ChatGPT 的纠错在质量上有哪些定性特征（例如逐条纠正 vs 表面/结构性编辑）？

主要发现

• ChatGPT 实现高召回率但较低精确度，整体 F0.5 为 53.1，低于 Grammarly（63.3）和 GECToR（60.8）在 CoNLL-2014 上的表现。
• ChatGPT 倾向于纠正更多错误（更高的召回）但也引入更多过度纠正（低精确度）。
• GECToR 具有最高的精确度，Grammarly 提供了平衡的表现，而 ChatGPT 强调超出逐条纠正的更广泛编辑。
• 长句显示出相对 Grammarly 和 GECToR，ChatGPT 的 F0.5 表现显著下降。
• 人工评估显示 ChatGPT 具有最少的欠改正（3）和误改正（3），但在三系统中有最多的过度改正（30）。
• Grammarly 能对 ChatGPT 输出提供边际改进，特别是在标点方面，但对某些 GEC 错误的影响有限。