[论文解读] A Comparative Study on Non-Autoregressive Modelings for Speech-to-Text Generation

Yosuke Higuchi, Nanxin Chen+7 more|arXiv (Cornell University)|Oct 11, 2021

Speech Recognition and Synthesis被引用 7

一句话总结

本论文通过ESPnet框架中的Conformer架构，对端到端语音转文本生成任务中的非自回归（NAR）建模技术进行了全面的对比研究。该研究在自动语音识别（ASR）和语音翻译任务上评估了多种NAR方法，包括Mask-CTC、Align-Denoise、Insertion Transformers以及基于CTC的变体，结果表明：结合中间CTC与Mask-CTC等技术可在不增加推理成本的前提下提升准确率；同时，NAR模型在语音翻译任务中也能实现具有竞争力的性能表现。

ABSTRACT

Non-autoregressive (NAR) models simultaneously generate multiple outputs in a sequence, which significantly reduces the inference speed at the cost of accuracy drop compared to autoregressive baselines. Showing great potential for real-time applications, an increasing number of NAR models have been explored in different fields to mitigate the performance gap against AR models. In this work, we conduct a comparative study of various NAR modeling methods for end-to-end automatic speech recognition (ASR). Experiments are performed in the state-of-the-art setting using ESPnet. The results on various tasks provide interesting findings for developing an understanding of NAR ASR, such as the accuracy-speed trade-off and robustness against long-form utterances. We also show that the techniques can be combined for further improvement and applied to NAR end-to-end speech translation. All the implementations are publicly available to encourage further research in NAR speech processing.

研究动机与目标

• 在最先进的设置下，对多种非自回归（NAR）建模技术在端到端自动语音识别（ASR）中的应用进行公平且全面的比较。
• 分析不同NAR架构在推理速度与识别准确率之间的权衡关系。
• 研究NAR模型在长时长及噪声语音输入下的鲁棒性表现。
• 探索结合多种NAR技术以提升性能的可行性。
• 拓展NAR模型在端到端语音翻译（E2E-ST）任务中的适用性。

提出的方法

• 在ESPnet框架中评估13种NAR模型，包括CTC、Mask-CTC、改进版Mask-CTC、Align-Denoise、Insertion Transformer、KERMIT、中间CTC、自条件CTC以及CIF-NA。
• 所有模型均采用基于Conformer的编码器-解码器架构，并使用16k词粒度子词单元。
• 应用迭代优化与精炼训练技术（如Align-Denoise和受CMLM启发的模型）以提升序列生成质量。
• 集成正则化技术（如中间CTC与自条件CTC）以稳定训练过程并改善对齐效果。
• 采用序列级知识蒸馏与预训练的自回归（AR）ASR编码器，用于E2E-ST的微调。
• 实现多阶段解码，结合帧级与词元级处理单元，以评估速度与准确率之间的权衡。

Fig. 1 : Illustrations of autoregressive and non-autoregressive ASR.

实验结果

研究问题

• RQ1 在标准ASR基准测试中，不同NAR建模技术在词错误率（WER）与推理速度方面表现如何？
• RQ2 噪声与长时语音输入对NAR模型鲁棒性有何影响？
• RQ3 结合多种NAR技术（如Mask-CTC与中间CTC）是否能在不增加推理成本的前提下带来性能提升？
• RQ4 与自回归基线模型相比，NAR模型在端到端语音翻译（E2E-ST）任务中的有效性如何？
• RQ5 哪些NAR架构组件（如处理单元类型：帧 vs. 词元，或迭代次数）对模型性能影响最为显著？

主要发现

• 在LS-100测试集上，采用中间CTC微调的Mask-CTC将WER从7.5%降低至7.2%，表明正则化技术可在不增加推理成本的前提下提升NAR ASR性能。
• 在CHiME4噪声语音基准测试中，所有NAR模型均优于标准CTC，其中Mask-CTC在真实语音样本上达到24.9% WER，在模拟语音样本上达到25.8% WER。
• 在干净的LS-100数据集上，自条件CTC取得最低WER（14.6%）；在Fisher-CallHome西班牙语测试集上，Orthros模型达到最高的BLEU分数（20.7），适用于E2E-ST任务。
• Mask-CTC与中间CTC的结合使LS-100的WER降低0.3个百分点，CHiME4的WER降低0.8个百分点，表明架构设计与正则化技术可实现协同增益。
• NAR模型在低质量、噪声输入下表现出较弱的鲁棒性，表明其对声学特征依赖更强，且对词元间依赖关系建模能力弱于自回归模型。
• 使用预训练的AR编码器与知识蒸馏技术显著提升了NAR E2E-ST的性能，其中Orthros在NAR模型中取得了最先进结果。

Fig. 2 : Comparison of NAR and AR (CTC/attention) models evaluated on different output sequence length. WERs are compared among the models (top), and the error components are compared between AR and Self-conditioned CTC (bottom).