[论文解读] Automatic Spelling Correction with Transformer for CTC-based End-to-End Speech Recognition

Shiliang Zhang, Ming Lei+1 more|arXiv (Cornell University)|Mar 27, 2019

Speech Recognition and Synthesis参考文献 25被引用 9

一句话总结

该论文提出了一种基于Transformer的拼写纠错模型，用于纠正基于CTC的端到端普通话语音识别中的错误，特别是同音词替换错误。通过使用CTC识别输出和真实转录作为训练数据，采用编码器-解码器架构，该模型将字符错误率（CER）降低至3.41%，相较于使用语言模型的基线CTC系统，实现了22.9%的相对提升。

ABSTRACT

Connectionist Temporal Classification (CTC) based end-to-end speech recognition system usually need to incorporate an external language model by using WFST-based decoding in order to achieve promising results. This is more essential to Mandarin speech recognition since it owns a special phenomenon, namely homophone, which causes a lot of substitution errors. The linguistic information introduced by language model will help to distinguish these substitution errors. In this work, we propose a transformer based spelling correction model to automatically correct errors especially the substitution errors made by CTC-based Mandarin speech recognition system. Specifically, we investigate using the recognition results generated by CTC-based systems as input and the ground-truth transcriptions as output to train a transformer with encoder-decoder architecture, which is much similar to machine translation. Results in a 20,000 hours Mandarin speech recognition task show that the proposed spelling correction model can achieve a CER of 3.41%, which results in 22.9% and 53.2% relative improvement compared to the baseline CTC-based systems decoded with and without language model respectively.

研究动机与目标

• 解决由于同音词导致的CTC-based普通话语音识别中高比例的替换错误。
• 在不完全依赖外部语言模型或复杂解码策略的前提下，提升识别性能。
• 开发一种后处理拼写纠错系统，利用句子级别的上下文进行错误纠正。
• 探索通过N-best列表扩展和训练优化（SGDR）进行数据增强，以提升模型泛化能力。

提出的方法

• 使用CTC生成的识别输出作为输入，真实转录作为目标，训练一个Transformer编码器-解码器模型。
• 将CTC模型输出的贪婪搜索结果作为输入，输入到拼写纠错模型中进行推理。
• 利用WFST-based解码的N-best列表解码，扩展训练数据的多样性，使用前1、5和10个假设。
• 采用SGDR（带有周期性重启的随机梯度下降）进行多轮训练，以提升收敛性和性能。
• 将拼写纠错模型与多种前端CTC系统（如DFSMB-CTC-sMBR）及解码策略结合。
• 使用来自多种CTC模型变体和优化标准的数据对拼写纠错模型进行微调。

实验结果

研究问题

• RQ1 基于Transformer的拼写纠错模型能否有效降低CTC-based普通话语音识别中的替换错误？
• RQ2 使用N-best列表进行数据增强对拼写纠错模型性能有何影响？
• RQ3 SGDR-based多轮训练在多大程度上能提升拼写纠错模型的收敛性和准确性？
• RQ4 拼写纠错模型是否在性能较弱的CTC基线上实现更大的相对提升？
• RQ5 拼写纠错模型能否在使用WFST-based解码和外部语言模型的强CTC-sMBR系统之上实现超越？

主要发现

• 拼写纠错模型将CER从基线CTC（贪婪搜索）的7.28%降低至4.89%。
• 使用N-best列表数据扩展后，CER进一步降低至4.21%，优于使用WFST解码的CTC-sMBR系统（4.42% CER）。
• 当与DFSMB-CTC-sMBR及N-best数据扩展结合时，最终模型的CER达到3.41%，相较于使用语言模型的CTC系统实现了22.9%的相对提升。
• 相较于无语言模型的CTC系统，该模型实现了53.2%的相对提升，证明了其强大的错误纠正能力。
• 错误分析表明，该模型通过利用句子级别的上下文，显著减少了替换错误，尤其是同音词相关的错误。
• 该模型在初始错误率较高的基线上表现更优，表明在错误更普遍的场景中具有更大的纠错潜力。