[论文解读] Mask the Correct Tokens: An Embarrassingly Simple Approach for Error Correction

Kai Shen, Yichong Leng+5 more|arXiv (Cornell University)|Nov 23, 2022

Natural Language Processing Techniques被引用 5

一句话总结

本文提出 MaskCorrect，一种简单而有效的方法，通过在训练过程中随机遮蔽正确标记，迫使模型从上下文学习，而非简单复制。该方法在自回归与非自回归模型上均显著提升了拼写、语音识别（ASR）及语法错误纠正任务的性能，在普通话 ASR 数据集上实现了最高达 1.24% 的 WER 降低，并超越了当前最优方法。

ABSTRACT

Text error correction aims to correct the errors in text sequences such as those typed by humans or generated by speech recognition models. Previous error correction methods usually take the source (incorrect) sentence as encoder input and generate the target (correct) sentence through the decoder. Since the error rate of the incorrect sentence is usually low (e.g., 10\%), the correction model can only learn to correct on limited error tokens but trivially copy on most tokens (correct tokens), which harms the effective training of error correction. In this paper, we argue that the correct tokens should be better utilized to facilitate effective training and then propose a simple yet effective masking strategy to achieve this goal. Specifically, we randomly mask out a part of the correct tokens in the source sentence and let the model learn to not only correct the original error tokens but also predict the masked tokens based on their context information. Our method enjoys several advantages: 1) it alleviates trivial copy; 2) it leverages effective training signals from correct tokens; 3) it is a plug-and-play module and can be applied to different models and tasks. Experiments on spelling error correction and speech recognition error correction on Mandarin datasets and grammar error correction on English datasets with both autoregressive and non-autoregressive generation models show that our method improves the correction accuracy consistently.

研究动机与目标

• 解决错误纠正模型中对正确标记的简单复制问题，该问题阻碍了有效学习并降低了训练效率。
• 将正确标记作为有意义的训练信号，而非被动的复制目标。
• 提升模型在低错误率纠正任务（如拼写与 ASR 错误纠正）中的泛化能力与性能。
• 开发一种可泛化、即插即用的框架，适用于自回归与非自回归模型。

提出的方法

• 训练过程中，将输入句子中随机比例的正确标记替换为特殊 <mask> 标记。
• 模型被训练为从遮蔽后的上下文中重建原始正确标记，从而鼓励上下文感知的生成。
• 该方法作为插件模块应用于现有纠错模型，无需修改网络架构。
• 遮蔽比例为超参数，经调优后发现非自回归模型的最佳值为 0.15。
• 在带遮蔽的预训练之后，模型在原始未遮蔽数据上进行微调以用于推理。
• 该方法在自回归与非自回归模型上，针对拼写纠正、普通话 ASR 纠错（Mandarin）及语法纠正（英文）任务进行了评估。

实验结果

研究问题

• RQ1 在训练过程中遮蔽正确标记是否能通过减少对简单复制的依赖来提升错误纠正性能？
• RQ2 遮蔽比例如何影响自回归与非自回归模型的性能与泛化能力？
• RQ3 该方法能否有效应用于多种错误纠正任务，包括拼写、ASR 与语法纠正？
• RQ4 该方法是否通过更好地利用正确标记作为信息性信号，从而提升训练效率？

主要发现

• 当应用于 FastCorrect 模型时，MaskCorrect 在 AISHELL-1 数据集上将 WER 降低了 1.24%，在内部普通话 ASR 数据集上降低了 1.0%。
• 使用 MaskCorrect 的自回归 Transformer 模型在 AISHELL-1 上实现 1.03% 的 WER 降低，在内部数据集上实现 0.78% 的降低。
• FastCorrect 模型的最佳遮蔽比例为 0.15，当比例超过 0.2 时性能开始下降。
• 该方法在拼写与 ASR 错误纠正任务中，对自回归与非自回归模型的纠错准确率均有持续提升。
• MaskCorrect 在普通话数据集上大幅超越当前最优的拼写错误纠正方法。
• 消融实验证实，遮蔽正确标记提供了有意义的监督信号，显著提升了模型泛化能力，超越了简单的复制学习。