[论文解读] An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction

Shun Kiyono, Jun Suzuki+3 more|arXiv (Cornell University)|Sep 2, 2019

Natural Language Processing Techniques参考文献 36被引用 9

一句话总结

本文研究了在语法错误修正（GEC）中整合伪数据的最优配置，提出通过从Gigaword语料库生成的7000万条带噪声的回译（Backtranslation）伪数据进行预训练，可显著提升性能。在不修改模型架构的前提下，仅使用标准训练和后处理技术（如SSE、R2L和SED），该方法在CoNLL-2014上取得了65.0的F0.5最优分数，在BEA-2019测试集上达到了70.2的F0.5最优分数。

ABSTRACT

The incorporation of pseudo data in the training of grammatical error correction models has been one of the main factors in improving the performance of such models. However, consensus is lacking on experimental configurations, namely, choosing how the pseudo data should be generated or used. In this study, these choices are investigated through extensive experiments, and state-of-the-art performance is achieved on the CoNLL-2014 test set ($F_{0.5}=65.0$) and the official test set of the BEA-2019 shared task ($F_{0.5}=70.2$) without making any modifications to the model architecture.

研究动机与目标

• 识别在语法错误修正（GEC）中整合伪数据的最有效实验配置，尤其关注数据生成、种子语料库选择和优化策略。
• 解决GEC社区在如何生成和使用伪数据方面长期存在的共识缺失问题，该问题显著影响模型性能。
• 证明通过优化伪数据配置，可在不修改模型架构的情况下实现性能提升。
• 评估种子语料库领域（如Wikipedia、Simple Wikipedia、English Gigaword）和语法复杂度对模型泛化能力的影响。
• 比较在结合真实与伪平行数据时，联合微调与预训练策略的有效性。

提出的方法

• 使用通过回译（带噪声）生成的7000万条伪句子对对序列到序列模型进行预训练，其中从Gigaword语料库中选取的语法正确句子通过引入噪声生成语法错误的源句子。
• 在官方BEA-2019训练集上对预训练模型进行微调，采用联合优化策略，并仅引入少量额外的伪数据。
• 以每字符0.003的速率在伪数据的源句子中注入合成拼写错误（SSE），通过引入字符级噪声提升模型鲁棒性。
• 通过训练四个R2L模型对左到右模型生成的n-best候选结果进行重排序，利用端到端重排序提升输出质量。
• 集成基于BERT的句子级错误检测（SED）模型，过滤掉被预测为无错误的句子，从而减少纠正过程中的误报。
• 将所有技术——PretLarge（使用带噪声回译的预训练）、SSE、R2L和SED——整合到单一推理流水线中，以最大化在基准数据集上的性能表现。

实验结果

研究问题

• RQ1 哪种伪数据生成方法（如Backtrans（带噪声）或DirectNoise）在GEC中表现最佳，原因是什么？
• RQ2 种子语料库的选择（如Wikipedia、Simple Wikipedia、English Gigaword）如何影响模型性能，特别是在领域和语法复杂度方面？
• RQ3 使用大规模伪数据进行预训练是否比联合微调真实与伪数据更有效？其中的权衡是什么？
• RQ4 SSE、R2L和SED等附加任务特定技术如何影响性能？它们在不同测试集上是否具有泛化能力？
• RQ5 为何SED的集成在CoNLL-2014和JFLEG上导致性能下降，尽管其在BEA-2019上表现提升？这说明了什么关于领域敏感性的结论？

主要发现

• 使用从Gigaword语料库生成的7000万条带噪声回译（Backtrans）伪数据进行预训练，取得了最强性能，在CoNLL-2014上达到61.3的F0.5分数，超越了所有先前的单模型结果。
• 使用Gigaword作为种子语料库的表现优于Wikipedia和Simple Wikipedia，可能因其噪声更低、语言质量更优。
• 将PretLarge（使用带噪声回译的预训练）与来自Gigaword的小规模DirectNoise数据联合微调，并未带来性能提升，表明仅靠预训练已足够。
• 应用合成拼写错误（SSE）注入显著提升了模型鲁棒性，并将CoNLL-2014的F0.5分数提升至65.0，BEA-2019的F0.5分数提升至70.2，达到最先进性能。
• 右到左重排序（R2L）和SED的集成进一步提升了结果，完整流水线（PretLarge + SSE + R2L + SED）在BEA-2019上达到70.2的F0.5分数，超过BEA-2019共享任务中的最佳系统。
• SED模型在CoNLL-2014和JFLEG上导致性能下降，表明其具有领域特异性敏感性，可能是因为在BEA-2019的验证集上进行了微调。