[论文解读] Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data

Wei Zhao, Liang Wang+3 more|arXiv (Cornell University)|Mar 1, 2019

Natural Language Processing Techniques参考文献 35被引用 24

一句话总结

本文提出一种用于语法错误修正（GEC）的复制增强型Transformer架构，可直接从源句中复制未更改及未登录词，显著提升性能。通过在无标签数据上完全预训练模型，并采用基于去噪自编码器的训练方法，结合词元级与句子级多任务学习，该方法在CoNLL-2014测试集上取得了新的最先进F₀.₅得分61.15，较之前方法高出4.9分。

ABSTRACT

Neural machine translation systems have become state-of-the-art approaches for Grammatical Error Correction (GEC) task. In this paper, we propose a copy-augmented architecture for the GEC task by copying the unchanged words from the source sentence to the target sentence. Since the GEC suffers from not having enough labeled training data to achieve high accuracy. We pre-train the copy-augmented architecture with a denoising auto-encoder using the unlabeled One Billion Benchmark and make comparisons between the fully pre-trained model and a partially pre-trained model. It is the first time copying words from the source context and fully pre-training a sequence to sequence model are experimented on the GEC task. Moreover, We add token-level and sentence-level multi-task learning for the GEC task. The evaluation results on the CoNLL-2014 test set show that our approach outperforms all recently published state-of-the-art results by a large margin. The code and pre-trained models are released at https://github.com/zhawe01/fairseq-gec.

研究动机与目标

• 通过利用大规模无标签数据，解决语法错误修正（GEC）中标签训练数据有限的问题。
• 通过允许直接从源句复制未更改及未登录词，改进GEC的序列到序列建模。
• 通过引入词元级与句子级辅助任务的多任务学习，提升模型的泛化能力与性能。
• 探究在复制增强型GEC架构上，使用去噪自编码器进行完整预训练的有效性。
• 在CoNLL-2014基准上实现最先进性能，超越现有方法。

提出的方法

• 设计了一种复制增强型Transformer架构，可直接从源输入词元中复制未更改及未登录词，降低对生成器在这些词元上的依赖。
• 使用去噪自编码器目标，在One Billion Word Benchmark上对模型进行完整预训练，以利用无标签数据提升表征学习能力。
• 引入词元级多任务学习，用于预测每个词元是否应被复制或修正，从而增强局部决策能力。
• 应用句子级多任务学习，用于预测整句话是否应原样复制，提升整体一致性。
• 将复制机制整合至注意力机制中，使解码器可通过独立的复制门关注源词元以实现复制。
• 最终模型在CoNLL-2014 GEC数据集上使用交叉熵损失进行微调，以实现序列生成。

实验结果

研究问题

• RQ1 直接从源句复制未更改及未登录词是否能提升GEC性能？
• RQ2 通过去噪自编码器在大规模无标签数据上进行完整预训练，是否能增强复制增强型GEC模型的泛化能力？
• RQ3 词元级与句子级多任务学习组件在提升错误修正准确率方面的有效性如何？
• RQ4 具备完整预训练的复制增强架构是否能超越现有最先进GEC系统？
• RQ5 复制机制对不同语法错误类型的影响如何，特别是那些需要语义或上下文理解的错误？

主要发现

• 复制增强架构在CoNLL-2014测试集上取得了新的SOTA F₀.₅得分61.15，较之前方法高出4.9分。
• 模型在'名词数'错误类型上召回率达72.65%，表明在形态修正方面表现强劲。
• 模型在'主谓一致'错误上达到61.79%的召回率，显示出在一致性相关修正上的有效性。
• 模型在'错误搭配/习语'错误上表现较差（召回率仅10.38%），凸显了在处理语境或文化敏感修正方面的挑战。
• 使用去噪自编码器进行完整预训练显著提升了性能，证明了大规模无标签数据在无监督预训练中的价值。
• 复制机制与多任务学习的结合显著提升了泛化能力，尤其在处理未登录词和未更改词方面表现更优。