[论文解读] A Simple but Effective Classification Model for Grammatical Error Correction

Kaili Zhu, Chuan Wang+4 more|arXiv (Cornell University)|Jul 2, 2018

Natural Language Processing Techniques参考文献 8被引用 6

一句话总结

本文提出了一种简单而有效的神经分类模型用于语法错误修正（GEC），将每种错误类型视为多分类分类任务。通过使用双向GRU与注意力机制，从大规模单语文本中端到端联合学习上下文表征，无需人工标注，该模型在CoNLL-2014测试集上取得了45.05%的F₀.₅分数，优于以往基于分类器的方法，展现出在工业部署中的强大适用性。

ABSTRACT

We treat grammatical error correction (GEC) as a classification problem in this study, where for different types of errors, a target word is identified, and the classifier predicts the correct word form from a set of possible choices. We propose a novel neural network based feature representation and classification model, trained using large text corpora without human annotations. Specifically we use RNNs with attention to represent both the left and right context of a target word. All feature embeddings are learned jointly in an end-to-end fashion. Experimental results show that our novel approach outperforms other classifier methods on the CoNLL-2014 test set (F0.5 45.05%). Our model is simple but effective, and is suitable for industrial production.

研究动机与目标

• 开发一种无需复杂特征工程的神经分类模型，用于语法错误修正。
• 利用大规模单语文本，端到端地学习上下文表征，无需人工标注的错误数据。
• 提升五类错误类型（冠词、介词、动词形式、名词数、主谓一致）的分类性能。
• 设计有效的注意力机制，以建模目标词与其左右上下文之间的依赖关系。
• 通过最小化对平行数据或标注训练数据的依赖，构建适合工业生产的模型。

提出的方法

• 使用预训练的GloVe词嵌入初始化输入句子的词表示。
• 针对每类错误，将句子在目标词处切分为左右上下文，并分别使用双向GRU编码。
• 应用两种注意力机制：一种仅使用上下文词，另一种则引入目标词以优化表征。
• 通过隐藏状态与最终上下文表征之间的参数化对齐函数计算注意力得分。
• 使用多层感知机（MLP）将最终的上下文表征分类为每类错误的预定义修正类别。
• 在大规模单语语料上端到端训练模型，无需人工标注的错误标签，依赖通过句子掩码与重建实现的数据增强。

实验结果

研究问题

• RQ1 在无需人工标注错误数据的前提下，神经分类模型能否超越现有的基于分类器的GEC系统？
• RQ2 注意力机制在序列建模框架中捕捉长距离依赖关系方面效果如何？
• RQ3 从单语文本中学到的上下文表征在多大程度上能提升特定错误类型的分类准确率？
• RQ4 与传统手工特征工程分类器相比，端到端联合学习上下文表征与分类是否能带来更好的性能？
• RQ5 单一统一的模型架构能否有效处理包括冠词、介词、动词形式和主谓一致在内的多种错误类型？

主要发现

• 所提模型在CoNLL-2014测试集上取得了45.05%的F₀.₅分数，优于所有先前基于分类器的方法。
• 注意力机制的使用在所有错误类型上均提升了性能，其中主谓一致（+7.9）和名词数（+7.9）的提升最为显著。
• 加入注意力机制的模型在冠词错误上达到48.83的F₀.₅，较基线提升2.03分。
• 该模型优于CUUI系统（36.79 F₀.₅）与深度上下文模型（41.6 F₀.₅），展现出更强的分类能力。
• 将本模型与公开的SMT系统结合的混合系统取得了50.16的高F₀.₅，接近Chollampatt和Ng（2018）的最先进结果54.79。
• 由于结构简单、无需平行数据且有效利用单语文本，该模型比神经机器翻译系统更适用于工业部署。