[论文解读] Fast End-to-End Speech Recognition via Non-Autoregressive Models and Cross-Modal Knowledge Transferring from BERT

Ye Bai, Jiangyan Yi+4 more|arXiv (Cornell University)|Feb 15, 2021

Speech Recognition and Synthesis参考文献 60被引用 8

一句话总结

该论文提出LASO，一种非自回归端到端语音识别模型，通过位置相关汇总器和对编码语音特征的自注意力机制，并行预测所有文本标记，实现比自回归Transformer快约50倍的推理速度。此外，通过跨模态知识蒸馏，将预训练BERT语言模型中的语义知识迁移至模型，进一步提升了准确率。

ABSTRACT

Attention-based encoder-decoder (AED) models have achieved promising performance in speech recognition. However, because the decoder predicts text tokens (such as characters or words) in an autoregressive manner, it is difficult for an AED model to predict all tokens in parallel. This makes the inference speed relatively slow. We believe that because the encoder already captures the whole speech utterance, which has the token-level relationship implicitly, we can predict a token without explicitly autoregressive language modeling. When the prediction of a token does not rely on other tokens, the parallel prediction of all tokens in the sequence is realizable. Based on this idea, we propose a non-autoregressive speech recognition model called LASO (Listen Attentively, and Spell Once). The model consists of an encoder, a decoder, and a position dependent summarizer (PDS). The three modules are based on basic attention blocks. The encoder extracts high-level representations from the speech. The PDS uses positional encodings corresponding to tokens to convert the acoustic representations into token-level representations. The decoder further captures token-level relationships with the self-attention mechanism. At last, the probability distribution on the vocabulary is computed for each token position. Therefore, speech recognition is re-formulated as a position-wise classification problem. Further, we propose a cross-modal transfer learning method to refine semantics from a large-scale pre-trained language model BERT for improving the performance.

研究动机与目标

• 解决自回归端到端ASR模型因序列生成标记而导致的推理速度慢的问题。
• 开发一种非自回归架构，实现标记预测的完全并行化，无需束搜索。
• 通过从预训练的仅文本语言模型（BERT）迁移知识，提升语音识别中的语义理解能力。
• 在低资源和长序列语音样本上，实现高速推理的同时保持具有竞争力的ASR性能。
• 通过利用跨模态语义对齐，降低全语音样本模型对未见语音长度的敏感性。

提出的方法

• 提出LASO，一种前馈式非自回归模型，包含编码器、位置相关汇总器（PDS）和解码器。
• 使用PDS模块对整个编码语音序列进行注意力计算，并基于位置生成标记特定的表示。
• 用并行前馈结构替代自回归解码，消除对束搜索的需求，实现实时推理。
• 通过对齐LASO解码器与预训练BERT模型的语义表示，应用跨模态知识蒸馏。
• 使用知识蒸馏损失微调LASO，使LASO解码器的隐藏状态与对应BERT表示对齐。
• 在中文语音数据集（AISHELL-1和AISHELL-2）上端到端训练模型，结合ASR损失与语义对齐损失。

实验结果

研究问题

• RQ1 非自回归端到端ASR模型是否能在不牺牲准确率的前提下，显著快于自回归Transformer模型？
• RQ2 从预训练BERT模型进行的跨模态知识蒸馏，在提升语音识别语义理解方面有多有效？
• RQ3 所提出的LASO模型是否能很好地泛化到未见的语音长度，尤其是与自回归模型相比？
• RQ4 BERT提供的语义精炼能否纠正因发音相似但语义错误的词语导致的语音错误？
• RQ5 基于BERT的语义对齐对模型处理OOV（词汇表外）或罕见词时的性能有何影响？

主要发现

• 由于实现了标记预测的完全并行化，LASO的推理速度相比自回归Transformer-based ASR模型快约50倍。
• 该模型保持了具有竞争力的ASR性能，在AISHELL-1和AISHELL-2数据集上的WER结果与当前最先进自回归模型相当。
• 从BERT进行的跨模态知识蒸馏显著提升了语义准确率，能够纠正因发音相似但语义错误导致的错误。
• 在诸如'一场' vs. '骤'，'爷泳' vs. '爷爷'，以及'受存' vs. '瘦身'等例子中，即使发音正确，BERT精炼也能纠正语义错误。
• 该模型对未见语音长度的敏感性高于自回归模型，但可通过数据增强或VAD-based分割加以缓解。
• BERT的引入提升了泛化能力，尤其在语法正确和语义连贯的词汇选择方面表现更优，即使参考词未完全匹配。