[论文解读] A Systematic Review of Automated Grammar Checking in English Language

Madhvi Soni, Jitendra Singh Thakur|arXiv (Cornell University)|Mar 29, 2018

Natural Language Processing Techniques参考文献 18被引用 25

一句话总结

本篇系统性综述分析了12种针对英语的自动化语法检查方法，将错误分类为五类——句子结构、标点符号、拼写、语法和语义错误，并评估了基于规则、机器学习及混合技术的方法。研究识别出主要局限性，包括实时性能较差、缺乏标准化的评估数据集，以及对复杂错误（如并列句和语义问题）处理不足。同时，研究提出未来研究应采用标准化的分类与基准测试。

ABSTRACT

Grammar checking is the task of detection and correction of grammatical errors in the text. English is the dominating language in the field of science and technology. Therefore, the non-native English speakers must be able to use correct English grammar while reading, writing or speaking. This generates the need of automatic grammar checking tools. So far many approaches have been proposed and implemented. But less efforts have been made in surveying the literature in the past decade. The objective of this systematic review is to examine the existing literature, highlighting the current issues and suggesting the potential directions of future research. This systematic review is a result of analysis of 12 primary studies obtained after designing a search strategy for selecting papers found on the web. We also present a possible scheme for the classification of grammar errors. Among the main observations, we found that there is a lack of efficient and robust grammar checking tools for real time applications. We present several useful illustrations- most prominent are the schematic diagrams that we provide for each approach and a table that summarizes these approaches along different dimensions such as target error types, linguistic dataset used, strengths and limitations of the approach. This facilitates better understandability, comparison and evaluation of previous research.

研究动机与目标

• 识别并分析过去十年中针对英语语言的自动化语法检查方法。
• 解决现有语法检查工具综述不全面的问题，特别是在实时处理和教育应用方面的不足。
• 提出一种标准化的英语语法错误分类方案，以提升错误检测与修正的一致性。
• 评估基于规则、机器学习及混合语法检查技术的优势与局限性。
• 识别研究空白，并提出未来方向，包括建立标准化评估数据集及针对特定错误类型的性能分析。

提出的方法

• 基于既定指南，采用预定义的搜索策略、选择标准和数据提取协议，开展系统性文献综述。
• 通过结构化搜索流程，识别出12项主要研究，聚焦于英语自动化语法检查的同行评审论文。
• 提出五类错误分类方案：句子结构、标点符号、拼写、语法和语义错误，并为每类设定子类型。
• 将所审查的12种方法分别映射至错误类型、所用数据集及性能指标（如精确率、召回率和F1值）。
• 使用示意图和对比表格，展示各方法的工作流程、优势与局限性。
• 在不同错误类型间评估性能，并突出由于测试集非标准化及错误覆盖范围差异导致的不一致性。

实验结果

研究问题

• RQ1 英语语法中的错误有哪些不同类型，如何实现系统性分类？
• RQ2 基于规则、机器学习及混合语法检查技术在错误检测与修正能力方面如何比较？
• RQ3 当前语法检查工具在处理复杂或实时应用场景时存在哪些关键局限性？
• RQ4 为何难以比较现有语法检查工具？公平评估所需的标准是什么？
• RQ5 哪些类型的语法错误——尤其是句子结构和语义错误——在当前研究中被严重忽视？

主要发现

• 现有任何语法检查工具均无法高效检测所有类型的错误，特别是句子结构和语义错误。
• 大多数工具未公开发布，限制了可复现性及实际应用，尤其在技术校对或语言辅导场景中。
• 由于使用了不同且非标准化的测试数据集，各研究间的性能差异显著，导致直接比较困难。
• 表现最佳的系统（Felice et al., 2014）在CoNLL-2014数据集上达到F0.5得分为43.55，但仍无法处理片段句、并列句及搭配错误。
• 基于规则的系统在语言学习中表现有效，但需投入大量人力创建规则；而机器学习方法则严重依赖语料的质量与规模。
• 目前显著缺乏能够处理并列句和语义层面错误的工具，构成重大研究空白。