[论文解读] Google USM: Scaling Automatic Speech Recognition Beyond 100 Languages

Yu Zhang, Wei Han+25 more|arXiv (Cornell University)|Mar 2, 2023

Speech Recognition and Synthesis被引用 112

一句话总结

通用语音模型（USM）是一种大型多语言自动语音识别系统，使用海量未标注的多语言数据和有限的带标注数据进行训练，在100+ 种语言的ASR与语音翻译任务上达到最先进的结果，具备强大的 YouTube 字幕功能与对长文本解码的鲁棒性。

ABSTRACT

We introduce the Universal Speech Model (USM), a single large model that performs automatic speech recognition (ASR) across 100+ languages. This is achieved by pre-training the encoder of the model on a large unlabeled multilingual dataset of 12 million (M) hours spanning over 300 languages, and fine-tuning on a smaller labeled dataset. We use multilingual pre-training with random-projection quantization and speech-text modality matching to achieve state-of-the-art performance on downstream multilingual ASR and speech-to-text translation tasks. We also demonstrate that despite using a labeled training set 1/7-th the size of that used for the Whisper model, our model exhibits comparable or better performance on both in-domain and out-of-domain speech recognition tasks across many languages.

研究动机与目标

• 推动构建覆盖数百种语言和领域的通用 ASR 模型。
• 利用大量未标注的多语言音频和文本数据来对一个强大的编码器进行预训练，并使用较小的带标注数据集进行微调。
• 开发可扩展的训练与微调管线，使在 ASR 和 AST 任务上实现高性能成为可能。
• 在 SpeechStew、FLEURS、CORAAL 和 CoVoST 2 等基准测试上展示最先进的结果。

提出的方法

• 使用 Conformer 编码器骨架（600M 和 2B 参数变体）。
• 用 BEST-RQ（随机投影量化器）对编码器进行预训练，基于 12M hours 的未标注 YouTube 多语言数据（YT-NTL-U）。
• 应用 MOST（多目标监督预训练）将 BEST-RQ 与文本注入以及跨未标注语音、未标注文本和成对语音文本数据的监督损失相结合。
• 在带标注数据（YT-SUP+ 和 Pub-S）上训练有监督的 ASR 目标（CTC 和 LAS）。
• 采用分块注意力以实现大规模的长文本 ASR 鲁棒性，解码器（CTC、LAS 或 RNN-T）。
• 可选地向冻结的预训练编码器附加残余适配器（约 2% 的参数量）以进行语言/领域适配。

Figure 1: An overview of our approach. Training is split into three stages. (i) The first stage trains a conformer backbone on a large unlabeled speech dataset, optimizing for the BEST-RQ objective. (ii) We continue training this speech representation learning model while optimizing for multiple obj

实验结果

研究问题

• RQ1 在带标注数据有限的情况下，单一的大型多语言模型是否能够在 100+ 种语言的 ASR 和 AST 上达到具有竞争力或更优的表现？
• RQ2 将未标注音频、未标注文本和成对数据结合的多阶段预训练（BEST-RQ、MOST）在下游多语言任务中的效果如何？
• RQ3 与基于分段的解码相比，分块注意力是否能实现对长文本 ASR 的鲁棒解码且减少/避免幻觉？
• RQ4 对于多语言而言，基于适配器的微调与对整个模型进行微调的效果有何差异？

主要发现

• USM 在多个基准测试上确立了新的最先进结果：SpeechStew、FLEURS、CORAAL 和 CoVoST 2，覆盖各种语言和领域。
• 在 YouTube 字幕（73 种语言）的设置中，USM 实现了低于 30% 的 WER。
• 一个 2B 参数的 USM 模型在用 90k 小时的有监督数据训练后，在选定语言和任务上可以超过 Whisper（在 >400k 小时上训练）的表现。
• MOST（BEST-RQ + 文本注入）实现对新领域的强大适应；适配器仅向冻结的编码器添加大约 2% 的参数，仍能提供有竞争力的结果。
• 分块注意力缓解了长文本 ASR 的降解，能够为长发话生成鲁棒的转写。

Figure 2: (Left) † WERs (%) Our language expansion effort to support more languages on YouTube (73 languages) and extending to 100+ languages on the public dataset (FLEURS). Lower is better. To the best of our knowledge, no published model can successfully decode all 73 languages from our YouTube se