[论文解读] Evaluating GPT-3.5 and GPT-4 on Grammatical Error Correction for Brazilian Portuguese

Maria Carolina Penteado, Fábio Perez|arXiv (Cornell University)|Jun 27, 2023

Natural Language Processing Techniques被引用 4

一句话总结

本研究评估了GPT-3.5和GPT-4作为巴西葡萄牙语语法错误修正（GEC）工具的表现，引入了一个包含四个类别的新数据集（语法、拼写、快速打字、网络语言）。GPT-4在非传统错误类型上优于GPT-3.5以及Microsoft Word和Google Docs等传统工具，尽管所有大语言模型（LLM）均因精确率较低而出现过度修正的问题，尽管其召回率较高。

ABSTRACT

We investigate the effectiveness of GPT-3.5 and GPT-4, two large language models, as Grammatical Error Correction (GEC) tools for Brazilian Portuguese and compare their performance against Microsoft Word and Google Docs. We introduce a GEC dataset for Brazilian Portuguese with four categories: Grammar, Spelling, Internet, and Fast typing. Our results show that while GPT-4 has higher recall than other methods, LLMs tend to have lower precision, leading to overcorrection. This study demonstrates the potential of LLMs as practical GEC tools for Brazilian Portuguese and encourages further exploration of LLMs for non-English languages and other educational settings.

研究动机与目标

• 评估GPT-3.5和GPT-4作为巴西葡萄牙语语法错误修正（GEC）工具的有效性。
• 将大语言模型（LLM）与Microsoft Word和Google Docs等传统工具在不同错误类型上的修正表现进行比较。
• 开发并发布一个全新的、经过标注的巴西葡萄牙语GEC数据集，涵盖语法、拼写、快速打字和网络语言错误。
• 研究大语言模型在GEC中的局限性，特别是非英语语言环境下的过度修正和精确率问题。

提出的方法

• 创建了一个包含484个句子的新GEC数据集，分为四个类别：语法（102对）、拼写（100个）、快速打字（40个）和网络语言（40个）。
• 设计了一种零样本提示策略，要求模型对输入句子进行修正，并仅返回修正后的版本。
• 采用自动评估方法，包括F0.5分数、精确率、召回率和F1分数，并辅以人工评估进行定性分析。
• 进行定性分析，以分类修正行为：过度修正、遗漏、语法错误修正和不合语法的错误修正。
• 在四个错误类别上评估模型，以衡量其在不同语言复杂度下的表现。
• 结合自动指标与人工检查，识别大语言模型输出中的系统性错误和偏差。

实验结果

研究问题

• RQ1 GPT-3.5和GPT-4在修正巴西葡萄牙语语法错误方面，相较于Microsoft Word和Google Docs的表现如何？
• RQ2 大语言模型在不同错误类别中，特别是在非正式或依赖语境的语言中，过度修正或遗漏修正的程度如何？
• RQ3 大语言模型在巴西葡萄牙语GEC中的主要失效模式是什么，例如过度修正、语义改变或不合语法的修正？
• RQ4 在不同错误类别中，GPT-4相较于GPT-3.5在精确率、召回率和F0.5分数上的表现如何？
• RQ5 大语言模型能否有效处理非标准语言形式（如网络俚语和快速打字错误），这些形式通常使基于规则的系统失效？

主要发现

• GPT-4在语法和拼写类别中均取得了最高的F0.5分数，优于GPT-3.5、Microsoft Word和Google Docs。
• GPT-4的召回率高于其他方法，表明其错误检测能力更强，但因过度修正导致精确率较低。
• GPT-3.5产生了54次过度修正，而GPT-4仅产生6次，显示出在不必要的编辑上显著减少。
• 在网络语言和快速打字类别中，GPT-3.5和GPT-4显著优于Microsoft Word和Google Docs，后者在非正式和依赖语境的错误上表现吃力。
• GPT-4有13次语法错误修正和1次不合语法的错误修正，而GPT-3.5分别为41次和3次，表明其整体准确性更高。
• 尽管召回率高，大语言模型仍倾向于不必要地修改原本正确的句子，凸显了在真实GEC应用中精确率的关键局限。