[论文解读] Grammatical Error Correction: A Survey of the State of the Art

Christopher Bryant, Zheng Yuan+4 more|arXiv (Cornell University)|Nov 9, 2022

Natural Language Processing Techniques参考文献 197被引用 7

一句话总结

本综述全面、及时地概述了最先进的语法错误修正（GEC）技术，重点关注神经机器翻译（NMT）和基于编辑的序列标注、人工数据生成以及评估挑战方面的最新进展。它突出了从基于规则的模型向数据驱动的深度学习模型的转变，重点贡献包括多语言GEC、语音GEC以及稳健的评估框架，为进入或推进该领域的研究人员提供了关键资源。

ABSTRACT

Grammatical Error Correction (GEC) is the task of automatically detecting and correcting errors in text. The task not only includes the correction of grammatical errors, such as missing prepositions and mismatched subject-verb agreement, but also orthographic and semantic errors, such as misspellings and word choice errors respectively. The field has seen significant progress in the last decade, motivated in part by a series of five shared tasks, which drove the development of rule-based methods, statistical classifiers, statistical machine translation, and finally neural machine translation systems which represent the current dominant state of the art. In this survey paper, we condense the field into a single article and first outline some of the linguistic challenges of the task, introduce the most popular datasets that are available to researchers (for both English and other languages), and summarise the various methods and techniques that have been developed with a particular focus on artificial error generation. We next describe the many different approaches to evaluation as well as concerns surrounding metric reliability, especially in relation to subjective human judgements, before concluding with an overview of recent progress and suggestions for future work and remaining challenges. We hope that this survey will serve as comprehensive resource for researchers who are new to the field or who want to be kept apprised of recent developments.

研究动机与目标

• 提供自2014年上一次重要综述以来，语法错误修正（GEC）领域最新技术的全面、最新综合分析。
• 分析GEC方法的演变过程，从基于规则的系统到神经机器翻译和基于编辑的模型，特别关注近期深度学习的进展。
• 考察人工数据生成与增强在提升模型泛化能力和性能方面的作用。
• 批判性评估当前的评估实践，包括度量标准的可靠性，以及基于参考文本的度量标准与真实用户需求之间的差距。
• 识别开放性挑战和未来研究方向，特别是在多语言GEC、语音GEC以及稳健评估方面。

提出的方法

• 本文对GEC研究进行了系统性综述，综合了共享任务、基准数据集和近期出版物的研究成果。
• 对GEC方法进行分类和比较，包括基于规则的系统、统计分类器、统计机器翻译以及神经机器翻译（NMT）模型。
• 作者分析了人工数据生成技术，如回译（back-translation）和错误注入，这些技术如今已成为训练高性能GEC模型的核心组成部分。
• 评估了各种评估指标——包括基于参考文本的（如BLEU、F1）和无参考文本的（如BERTScore、COMET）——并讨论了它们在捕捉人类判断方面的局限性。
• 探讨了多任务学习、重排序和迭代解码等补充技术，这些技术可提升模型性能和鲁棒性。
• 综述还包括对未解决挑战的批判性讨论，如未分词输出、n-best修正列表，以及与最终用户期望更好对齐的必要性。

实验结果

研究问题

• RQ1 GEC方法如何从基于规则的系统演变为神经序列到序列模型？这一转变背后的驱动因素是什么？
• RQ2 人工数据生成技术在多大程度上提升了GEC模型的性能和泛化能力，特别是在低资源场景下？
• RQ3 为何当前的GEC评估存在问题？基于参考文本的度量标准为何无法反映真实用户需求？
• RQ4 将GEC扩展到多语言和语音应用中的关键挑战与机遇是什么？
• RQ5 需要在评估指标上做出哪些改进，才能使自动化得分更好地与人类对语法正确性和流畅性的判断保持一致？

主要发现

• 过去十年间，GEC性能提升了约三倍，这主要得益于神经机器翻译（NMT）和序列到序列模型的采用。
• 人工数据生成，尤其是通过回译和错误注入，已成为最先进的GEC系统的核心组成部分，显著提升了性能。
• 当前的评估指标（如BLEU和F1）与人类判断的相关性有限，特别是在处理未分词文本或存在多个有效修正结果时。
• 对无参考文本的度量标准和评估框架的需求日益增长，这些框架应支持n-best修正列表和未分词输出，以更真实地反映用户期望。
• 多语言和语音GEC的研究尚处于起步阶段但正在快速发展，已有新兴的数据集和模型出现，但数据稀缺和模型泛化能力不足等问题仍待解决。
• 尽管取得了进展，稳健的评估仍是开放性问题，当前的评估实践可能因过度关注指标优化而非真实世界可用性，反而阻碍了创新。