[论文解读] Mask CTC: Non-Autoregressive End-to-End ASR with CTC and Mask Predict

Yosuke Higuchi, Shinji Watanabe+3 more|arXiv (Cornell University)|May 18, 2020

Speech Recognition and Synthesis参考文献 29被引用 6

一句话总结

Mask CTC 是一种非自回归端到端自动语音识别（ASR）框架，通过迭代地利用掩码预测来优化 CTC 输出中的低置信度标记，从而提升性能。该方法同时利用了 CTC 对齐信息和标记之间的条件依赖关系。在非自回归模型中实现了最先进性能，将 WSJ 数据集上的词错误率（WER）从 17.9% 降低至 12.1%，且在 CPU 上推理速度达到 0.07 RTF，接近自回归模型的性能表现。

ABSTRACT

We present Mask CTC, a novel non-autoregressive end-to-end automatic speech recognition (ASR) framework, which generates a sequence by refining outputs of the connectionist temporal classification (CTC). Neural sequence-to-sequence models are usually extit{autoregressive}: each output token is generated by conditioning on previously generated tokens, at the cost of requiring as many iterations as the output length. On the other hand, non-autoregressive models can simultaneously generate tokens within a constant number of iterations, which results in significant inference time reduction and better suits end-to-end ASR model for real-world scenarios. In this work, Mask CTC model is trained using a Transformer encoder-decoder with joint training of mask prediction and CTC. During inference, the target sequence is initialized with the greedy CTC outputs and low-confidence tokens are masked based on the CTC probabilities. Based on the conditional dependence between output tokens, these masked low-confidence tokens are then predicted conditioning on the high-confidence tokens. Experimental results on different speech recognition tasks show that Mask CTC outperforms the standard CTC model (e.g., 17.9% -> 12.1% WER on WSJ) and approaches the autoregressive model, requiring much less inference time using CPUs (0.07 RTF in Python implementation). All of our codes will be publicly available.

研究动机与目标

• 解决标准 CTC 框架中输出标记之间强条件独立性假设带来的局限性，该假设导致性能欠佳。
• 通过使用贪婪 CTC 输出初始化而非预测序列长度，克服非自回归模型中输出长度预测的挑战。
• 通过仅优化低置信度标记，在保持高精度的同时实现快速并行解码，并将计算开销降至最低。
• 在无需复杂迭代优化或长度预测机制的前提下，弥合非自回归与自回归 ASR 模型之间的性能差距。
• 开发一种在多种语言上均表现稳健、适合低延迟实时部署的框架。

提出的方法

• 在训练阶段联合优化 CTC 与掩码预测目标，端到端训练 Transformer 编码器-解码器模型。
• 推理时使用贪婪 CTC 输出初始化目标序列，这些输出对大多数标记已具有较高准确性。
• 通过 CTC 概率上的置信度阈值识别 CTC 输出中的低置信度标记。
• 通过同时依赖过去和未来的未掩码标记以及输入语音特征，迭代预测被掩码的低置信度标记。
• 采用少量掩码预测步骤（例如 K=5）进行迭代优化，每一步预测一个或多个被掩码的标记。
• 利用标记之间的条件依赖关系纠正替换错误，同时保持 CTC 固定序列长度的特性。

实验结果

研究问题

• RQ1 非自回归 ASR 模型是否能在不进行输出长度预测的情况下，实现接近自回归模型的性能？
• RQ2 对低置信度 CTC 标记进行迭代优化是否能在保持快速推理速度的同时提升识别准确率？
• RQ3 基于 CTC 概率的掩码预测在推理过程中相比随机掩码是否更有效？
• RQ4 该框架是否能在不同语言和分词方案（尤其是小粒度单位如拉丁字母）下实现良好泛化？
• RQ5 模型是否能有效恢复替换错误，同时对插入/删除错误不敏感，从而受益于 CTC 的固定长度特性？

主要发现

• Mask CTC 在 WSJ 数据集上将 WER 从 17.9% 降低至 12.1%，显著优于标准 CTC，且接近自回归模型性能。
• 在 CSJ（日语）数据集上，Mask CTC 在相同测试集上实现了 4.97% 的 CER，与自回归 CTC-attention 模型（5.40%）相比达到相当或更优表现。
• 使用 Python 实现的 CPU 推理速度达到 0.07 RTF，使该模型比自回归模型快 116 倍。
• 所有测试集的句子错误率（SER）均得到改善，表明模型通过上下文依赖建模有效纠正了错误。
• 在小粒度单位语言（如拉丁字母）中性能提升最为显著，因为此类语言中替换错误更常见，且可通过上下文有效纠正。
• 该框架在不同数据规模和语言类型下表现出稳健性，在 Voxforge（WER 低于标准 CTC）和 CSJ 数据集上均实现了稳定提升。