[论文解读] Listen and Fill in the Missing Letters: Non-Autoregressive Transformer for Speech Recognition

Nanxin Chen, Shinji Watanabe+2 more|arXiv (Cornell University)|Nov 10, 2019

Speech Recognition and Synthesis参考文献 23被引用 53

一句话总结

本文提出了两种非自回归 Transformer 框架（A-CMLM 和 A-FMLM）用于语音识别，支持并行解码，在 Mandarin 和 Japanese 基准测试上实现高达 7 倍的实时性加速，同时在性能上与自回归 Transformer 相当。

ABSTRACT

Recently very deep transformers have outperformed conventional bi-directional long short-term memory networks by a large margin in speech recognition. However, to put it into production usage, inference computation cost is still a serious concern in real scenarios. In this paper, we study two different non-autoregressive transformer structure for automatic speech recognition (ASR): A-CMLM and A-FMLM. During training, for both frameworks, input tokens fed to the decoder are randomly replaced by special mask tokens. The network is required to predict the tokens corresponding to those mask tokens by taking both unmasked context and input speech into consideration. During inference, we start from all mask tokens and the network iteratively predicts missing tokens based on partial results. We show that this framework can support different decoding strategies, including traditional left-to-right. A new decoding strategy is proposed as an example, which starts from the easiest predictions to the most difficult ones. Results on Mandarin (Aishell) and Japanese (CSJ) ASR benchmarks show the possibility to train such a non-autoregressive network for ASR. Especially in Aishell, the proposed method outperformed the Kaldi ASR system and it matches the performance of the state-of-the-art autoregressive transformer with 7x speedup. Pretrained models and code will be made available after publication.

研究动机与目标

• 在不牺牲准确性的前提下，推动基于 Transformer 的语音识别降低解码时延。
• 将掩码语言模型的思想应用于音频输入，以实现非自回归解码。
• 探索训练与解码策略（A-CMLM、A-FMLM、easy first、mask-predict）以弥合训练/推理之间的差距。
• 在 Mandarin（AIShell）和 Japanese（CSJ）上进行评估，以评估性能与加速比。

提出的方法

• 提出两种非自回归 Transformer 框架：音频条件掩码语言模型（Audio-Conditional Masked Language Model，A-CMLM）和音频因式化掩码语言模型（Audio-Factorized Masked Language Model，A-FMLM）。
• 用掩码标记替代解码器历史，并利用带上下文的输入语音来预测被掩码的位置。
• 在 A-CMLM 中，给定未掩码的标记和语音特征，通过条件概率乘积并行预测所有被掩码的标记（独立性假设）。
• 在 A-FMLM 中，通过逐步解码步骤（Z_t 集）和跨迭代的因式化目标来缓解训练-推理不匹配。
• 提出解码策略：easy first 和 mask-predict，包括变体形式和基于迭代的细化。
• 报告实际的训练/解码细节，包括通过 EOS 进行长度处理和训练阶段的迭代次数（训练时 N=2）。
• 基准设置使用 ESPnet、Transformer 基线，并在可比的情形下与 Kaldi 系统对比。

实验结果

研究问题

• RQ1 非自回归 Transformer 是否能通过以音频输入为条件来有效训练用于 ASR 的掩码预测？
• RQ2 A-CMLM 和 A-FMLM 是否在准确性上具有竞争力，并在解码速度方面相对自回归 Transformer 带来显著提升？
• RQ3 哪些解码策略（easy first、mask-predict）在普通话和日语的 ASR 中能够更好地平衡准确性与速度？
• RQ4 非自回归 ASR 如何随 utterance 长度扩展，以及针对长序列有哪些缓解办法？

主要发现

• A-FMLM 在 AIShell 上实现了最高 7x 的实时加速，并且性能与自回归 baselines 相匹配。
• 对于 AIShell，A-CMLM 在少数迭代后收益有限，而 A-FMLM 的单迭代设置已能提供强结果。
• 在 AIShell 上，若干非自回归变体在 CER 上几乎与自回归 Transformer 相当，并且具备显著的加速。
• 在 CSJ 上，A-FMLM 在若干配置下优于 A-CMLM 与自回归基线，取得显著的 CER 降幅与加速。
• 较长的 utterance 暴露出非自回归模型的删除与替换错误增多，揭示了基于插入的策略的局限性与机会。
• 非自回归解码支持多种策略（从左至右、easy first、mask-predict），实现灵活的推断。