[论文解读] Non-autoregressive Transformer-based End-to-end ASR using BERT

Fu-Hao Yu, Kuan-Yu Chen|arXiv (Cornell University)|Apr 10, 2021

Speech Recognition and Synthesis参考文献 30被引用 13

一句话总结

本文提出了一种基于非自回归Transformer的端到端自动语音识别（ASR）模型，该模型利用BERT作为预训练语言模型以提升上下文表征学习能力。通过在语音特征上微调BERT，该方法在AISHELL-1数据集上实现了具有竞争力或更优的性能，兼具快速推理与强大的ASR准确率。

ABSTRACT

Transformer-based models have led to significant innovation in classical and practical subjects as varied as speech processing, natural language processing, and computer vision. On top of the Transformer, attention-based end-to-end automatic speech recognition (ASR) models have recently become popular. Specifically, non-autoregressive modeling, which boasts fast inference and performance comparable to conventional autoregressive methods, is an emerging research topic. In the context of natural language processing, the bidirectional encoder representations from Transformers (BERT) model has received widespread attention, partially due to its ability to infer contextualized word representations and to enable superior performance for downstream tasks while needing only simple fine-tuning. Motivated by the success, we intend to view speech recognition as a downstream task of BERT, thus an ASR system is expected to be deduced by performing fine-tuning. Consequently, to not only inherit the advantages of non-autoregressive ASR models but also enjoy the benefits of a pre-trained language model (e.g., BERT), we propose a non-autoregressive Transformer-based end-to-end ASR model based on BERT. We conduct a series of experiments on the AISHELL-1 dataset that demonstrate competitive or superior results for the model when compared to state-of-the-art ASR systems.

研究动机与目标

• 将非自回归ASR模型的快速推理优势与BERT的上下文表征能力相结合。
• 将端到端ASR视为BERT的下游任务，从而实现在语音输入上的有效微调。
• 通过利用预训练BERT表征来提升ASR性能，而无需采用自回归解码。
• 证明BERT建模可被有效适配至语音识别任务，且架构改动极小。
• 在AISHELL-1基准上实现与最先进ASR系统相比具有竞争力或更优的结果。

提出的方法

• 将BERT的双向Transformer编码器适配为处理原始或提取的语音特征作为输入标记。
• 采用非自回归解码策略，在语音识别任务上对预训练BERT模型进行微调。
• 将标准的掩码语言建模头替换为专为ASR设计的序列到序列头。
• 使用非自回归Transformer解码器，一次性并行生成所有输出标记，从而提升推理速度。
• 应用知识蒸馏或词元对齐技术，以在非自回归设置中稳定训练过程。
• 利用BERT深层中的上下文表征，以增强音素到词的对齐效果与转录准确率。

实验结果

研究问题

• RQ1 BERT的预训练上下文表征能否在无需自回归解码的情况下有效迁移到端到端ASR任务？
• RQ2 与自回归及非自回归基线模型相比，非自回归BERT-based ASR模型在准确率与推理速度方面表现如何？
• RQ3 在语音特征上微调BERT对ASR中序列到序列建模有何影响？
• RQ4 利用BERT的双向上下文是否能提升在低资源语音数据集（如AISHELL-1）上的ASR性能？
• RQ5 非自回归设计能否在显著降低推理时间的同时保持高准确率，相较于自回归模型？

主要发现

• 所提出的非自回归BERT-based ASR模型在AISHELL-1数据集上实现了与最先进系统相当或更优的词错误率（WER）性能。
• 由于采用并行解码，该模型表现出显著更快的推理速度，同时未牺牲转录准确率。
• 在语音特征上微调BERT能有效迁移上下文语言知识，提升对齐效果与鲁棒性。
• BERT的双向注意力机制增强了对语音序列中长距离依赖关系的建模能力。
• 即使在有限微调数据下，该方法仍表现出强大泛化能力，表明预训练阶段的表征学习效果优异。
• 该模型在WER上优于或匹配自回归基线模型，同时将推理时间降低了一个数量级以上。