[论文解读] A Comprehensive Survey of Grammar Error Correction

Yu Wang, Yuelin Wang+2 more|arXiv (Cornell University)|May 2, 2020

Natural Language Processing Techniques参考文献 98被引用 24

一句话总结

本综述全面回顾了2010年至2020年间的语法错误修正（GEC）研究，涵盖五个主要数据集、两次共享任务、四种标准评估指标，以及四种核心方法：基于统计机器翻译（SMT）和神经机器翻译（NMT）的方法、基于分类的方法，以及基于语言模型的方法。它分析了性能提升技术、数据增强策略和系统集成模式，并总结出五个未来研究方向，是首份对GEC进展进行全面回顾的研究，近似达到人类水平性能的成果在2010年代末期实现。

ABSTRACT

Grammar error correction (GEC) is an important application aspect of natural language processing techniques. The past decade has witnessed significant progress achieved in GEC for the sake of increasing popularity of machine learning and deep learning, especially in late 2010s when near human-level GEC systems are available. However, there is no prior work focusing on the whole recapitulation of the progress. We present the first survey in GEC for a comprehensive retrospect of the literature in this area. We first give the introduction of five public datasets, data annotation schema, two important shared tasks and four standard evaluation metrics. More importantly, we discuss four kinds of basic approaches, including statistical machine translation based approach, neural machine translation based approach, classification based approach and language model based approach, six commonly applied performance boosting techniques for GEC systems and two data augmentation methods. Since GEC is typically viewed as a sister task of machine translation, many GEC systems are based on neural machine translation (NMT) approaches, where the neural sequence-to-sequence model is applied. Similarly, some performance boosting techniques are adapted from machine translation and are successfully combined with GEC systems for enhancement on the final performance. Furthermore, we conduct an analysis in level of basic approaches, performance boosting techniques and integrated GEC systems based on their experiment results respectively for more clear patterns and conclusions. Finally, we discuss five prospective directions for future GEC researches.

研究动机与目标

• 提供2010年至2020年语法错误修正（GEC）研究的完整回顾。
• 系统化整理五个公开GEC数据集、两次共享任务和四种标准评估指标的知识。
• 分析并比较四种基础GEC方法：基于SMT的方法、基于NMT的方法、基于分类的方法，以及基于语言模型的方法。
• 识别并评估六种在最先进GEC系统中使用过的性能提升技术，以及两种数据增强方法。
• 概述未来GEC发展的五个潜在研究方向。

提出的方法

• 对2010年至2020年GEC研究进行系统性文献回顾，重点关注公开数据集、标注模式和评估协议。
• 将GEC系统归类为四种主要方法：统计机器翻译（SMT）、神经机器翻译（NMT）、基于分类的方法，以及基于语言模型的方法。
• 分析从机器翻译中借鉴的六种性能提升技术，包括注意力机制、Dropout、束搜索、课程学习、对抗性训练和集成方法。
• 考察两种数据增强技术：回译（back-translation）和使用基于规则或神经方法生成的合成错误。
• 基于数据集和指标上的性能趋势，对集成GEC系统进行对比评估。
• 利用基准实验的实证结果，识别方法论演进和性能提升的模式。

实验结果

研究问题

• RQ1 哪些是定义GEC研究格局的关键公开数据集、标注模式和评估指标？
• RQ2 四种主要方法——基于SMT、基于NMT、基于分类和基于语言模型的方法——在架构和性能上有哪些差异？
• RQ3 从机器翻译中借鉴的哪些性能提升技术在提升GEC系统准确率方面最为有效？
• RQ4 诸如回译和合成错误生成等数据增强策略如何提升GEC模型的泛化能力？
• RQ5 在当前已接近人类水平性能的基础上，推动语法错误修正进一步发展的最有前景的未来研究方向是什么？

主要发现

• 在2010年代末，GEC已实现接近人类水平的性能，主要得益于神经机器翻译（NMT）模型。
• 基于NMT的方法显著优于基于SMT的方法，尤其是在采用注意力机制和深层架构时。
• 课程学习和对抗性训练等性能提升技术在CoNLL-2014和FCE等标准基准上带来了可测量的性能提升。
• 通过回译进行数据增强，提升了零样本泛化能力，并增强了低资源场景下的模型鲁棒性。
• 结合多种技术的集成系统——尤其是采用注意力机制和Dropout的NMT模型——在公开测试集上取得了最高的F0.5得分。
• 尽管取得了进展，但在处理罕见错误、保持语言流畅性，以及在不同写作风格和领域间泛化方面仍面临挑战。