[论文解读] FastCorrect: Fast Error Correction with Edit Alignment for Automatic Speech Recognition

Yichong Leng, Xu Tan+8 more|arXiv (Cornell University)|May 9, 2021

Natural Language Processing Techniques参考文献 35被引用 29

一句话总结

tldr: FastCorrect 是一个非自回归的 ASR 错误纠正模型，使用基于编辑距离的对齐来检测并纠正错误，与自回归纠正相比，在延迟方面实现大幅度的降低（6-9 倍），并在 WER 降幅上具有竞争力（8-14%）。

ABSTRACT

Error correction techniques have been used to refine the output sentences from automatic speech recognition (ASR) models and achieve a lower word error rate (WER) than original ASR outputs. Previous works usually use a sequence-to-sequence model to correct an ASR output sentence autoregressively, which causes large latency and cannot be deployed in online ASR services. A straightforward solution to reduce latency, inspired by non-autoregressive (NAR) neural machine translation, is to use an NAR sequence generation model for ASR error correction, which, however, comes at the cost of significantly increased ASR error rate. In this paper, observing distinctive error patterns and correction operations (i.e., insertion, deletion, and substitution) in ASR, we propose FastCorrect, a novel NAR error correction model based on edit alignment. In training, FastCorrect aligns each source token from an ASR output sentence to the target tokens from the corresponding ground-truth sentence based on the edit distance between the source and target sentences, and extracts the number of target tokens corresponding to each source token during edition/correction, which is then used to train a length predictor and to adjust the source tokens to match the length of the target sentence for parallel generation. In inference, the token number predicted by the length predictor is used to adjust the source tokens for target sequence generation. Experiments on the public AISHELL-1 dataset and an internal industrial-scale ASR dataset show the effectiveness of FastCorrect for ASR error correction: 1) it speeds up the inference by 6-9 times and maintains the accuracy (8-14% WER reduction) compared with the autoregressive correction model; and 2) it outperforms the popular NAR models adopted in neural machine translation and text edition by a large margin.

研究动机与目标

• 为在线服务提供低延迟的快速 ASR 错误纠正提供动机。
• 利用基于编辑距离的对齐来引导非自回归纠正。
• 在大规模伪纠正数据上进行预训练，并在真实的 ASR 纠正数据上进行微调。
• 在 AISHELL-1 和一个大型内部普通话 ASR 数据集上展示加速和准确度提升。

提出的方法

• 引入基于最小编辑距离的 ASR 输出与真实纠错之间的编辑对齐，并通过 n-gram 频率来选择最佳对齐。
• 使用基于 Transformer 的 NAR 编解码器，配备长度预测器，估计对于每个源标记有多少目标标记与之对齐（删除为 0，替换/保持不变为 1，大于 1 为插入）。
• 用 MSE 损失训练长度预测器，并用它对源标记进行对齐以实现并行的目标序列生成。
• 在通过同音词信息的加噪过程编辑文本创建的大规模伪纠错数据集上对 FastCorrect 进行预训练，然后在真实 ASR 纠错数据上进行微调。
• 在 WER 降幅和延迟方面，与自回归（AR）纠错以及其他 NAR 模型（LevT、FELIX）在 GPU 与 CPU 上进行比较。

实验结果

研究问题

• RQ1 一个由编辑对齐引导的非自回归错误纠错模型是否能够在显著降低延迟的同时实现与 AR 模型相当的 WER 降幅？
• RQ2 通过编辑对齐利用插入/删除/替换模式是否能提升纠错质量，相较于现有的 ASR 纠错 NAR 方法？
• RQ3 在有限的 ASR 纠错数据上微调时，对伪纠错数据的预训练如何影响性能？
• RQ4 在公开数据集和工业规模的普通话 ASR 数据集上，FastCorrect 的延迟与准确率权衡是什么？

主要发现

• FastCorrect 在 AISHELL-1 和内部数据集上比 AR 纠错实现 6-9 倍的推理速度提升。
• FastCorrect 相比无纠错实现实现 8-14% 的 WER 降幅（WERR），在两个数据集上的表现接近 AR 模型。
• FastCorrect 在 WERR 和纠错质量方面对 LevT 和 FELIX 具有很大优势。
• 消融实验表明编辑对齐（长度预测器）和预训练对实现强 WER 降幅至关重要。
• 与具有深编码器、浅解码器的 AR 模型相比，FastCorrect 在延迟显著降低的同时提供相近或更高的准确性。
• Table 1 显示 FastCorrect 在 AISHELL-1，Test 得到 4.16 WER，在 Internal，Test 得到 10.27 WER，并且延迟显著降低；Table 4 相较基线报告更高的 P_right，以及相当的 P_edit/R_edit。