[论文解读] A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction

Shamil Chollampatt, Hwee Tou Ng|arXiv (Cornell University)|Jan 26, 2018

Natural Language Processing Techniques被引用 98

一句话总结

tldr: 提出了一种用于GEC的多层卷积编码器-解码器，在对齐现有最佳结果、超越 SMT 基线方面取得了最先进的成绩，且包含重新评分和集成。

ABSTRACT

We improve automatic correction of grammatical, orthographic, and collocation errors in text using a multilayer convolutional encoder-decoder neural network. The network is initialized with embeddings that make use of character N-gram information to better suit this task. When evaluated on common benchmark test data sets (CoNLL-2014 and JFLEG), our model substantially outperforms all prior neural approaches on this task as well as strong statistical machine translation-based systems with neural and task-specific features trained on the same data. Our analysis shows the superiority of convolutional neural networks over recurrent neural networks such as long short-term memory (LSTM) networks in capturing the local context via attention, and thereby improving the coverage in correcting grammatical errors. By ensembling multiple models, and incorporating an N-gram language model and edit features via rescoring, our novel method becomes the first neural approach to outperform the current state-of-the-art statistical machine translation-based approach, both in terms of grammaticality and fluency.

研究动机与目标

• 改善英语文本中语法、拼写和搭配错误的自动纠正。
• 证明一个完全卷积的编码器-解码器可以在 GEC 上超越基于 RNN 的神经模型。
• 利用预训练词嵌入和子词表示来处理罕见词。
• 通过重新评分引入N-gram语言模型和编辑特征以提升性能。
• 表示集成方法能提升 GEC 性能超越单一模型。

提出的方法

• 提出一个全卷积的编码器-解码器架构，包含七层编码器和七层解码器，并在每个解码层有注意力。
• 使用基于BPE的子词分词和来自fastText的嵌入，来自大规模英语语料初始化。
• 通过fastText将字符N-gram信息并入嵌入，以捕获形态信息。
• 使用负对数似然损失训练，并采用Nesterov加速梯度优化。
• 采用从左到右的束搜索解码，并对多个模型进行集成以获得最终概率。
• 使用对数线性模型对束候选进行重新评分，包含编辑操作和语言模型特征，并用MERT训练。

实验结果

研究问题

• RQ1 带注意力的多层卷积编码器-解码器能否超越循环神经网络模型在语法错误纠正中的表现？
• RQ2 预训练嵌入和子词表示对GEC性能的影响如何？
• RQ3 集成和带编辑操作及语言模型特征的重新评分是否提升GEC的准确性和流畅性？
• RQ4 卷积架构在GEC错误的精确度和召回率方面与BiLSTMs相比如何？
• RQ5 引入外部语料和大规模网页语言模型对CoNLL-2014和JFLEG数据集的影响是什么？

主要发现

系统	并行语料	数据公开吗？	其他	CoNLL-2014 测试集 - 精确率	CoNLL-2014 测试集 - 召回	CoNLL-2014 测试集 - F0.5
SMT	L8, NUCLE	Yes	–	57.94	16.48	38.54
SMT +NNJM	L8, NUCLE	Yes	–	58.38	18.83	41.11
MLConv	L8, NUCLE	Yes	–	59.68	23.15	45.36
MLConv (4 ens.)	L8, NUCLE	Yes	–	67.06	22.52	48.05
MLConv (4 ens.) + EO	L8, NUCLE	Yes	–	62.36	27.55	49.78
MLConv embed	L8, NUCLE	Yes	Wiki	60.90	23.74	46.38
MLConv embed (4 ens.)	L8, NUCLE	Yes	Wiki	68.13	23.45	49.33
MLConv embed (4 ens.) + EO	L8, NUCLE	Yes	Wiki	63.12	28.36	50.70
MLConv embed (4 ens.) + EO + LM	L8, NUCLE	Yes	Wiki	65.18	32.26	54.13
MLConv embed (4 ens.) + EO + LM + SpellCheck	L8, NUCLE	Yes	Wiki, CC	65.49	33.14	54.79

• 当使用集成和重新评分时，MLConv模型在CoNLL-2014上优于先前的神经方法和 SMT 基线。
• 使用fastText进行嵌入预训练并使用子词单位，相较于随机或Word2Vec 初始化提升性能。
• 使用编辑操作和语言模型特征的重新评分显著提升CoNLL-2014的F0.5，并改善JFLEG的GLEU/F0.5。
• 在某些配置下，MLConv带四模型集成加上EO/LM在无需外部拼写检查的情况下达到最先进的结果。
• 卷积结构能有效捕捉局部上下文，结合多层注意力，在许多情况下比RNN更好地纠正局部错误。