[論文レビュー] Google USM: Scaling Automatic Speech Recognition Beyond 100 Languages

Yu Zhang, Wei Han+25 more|arXiv (Cornell University)|Mar 2, 2023

Speech Recognition and Synthesis被引用数 112

ひとこと要約

The Universal Speech Model (USM) is a large multilingual ASR system trained with vast unlabeled multilingual data and limited labeled data, achieving state-of-the-art results across 100+ languages for ASR and speech translation tasks, with strong YouTube captioning performance and robust long-form decoding.

ABSTRACT

We introduce the Universal Speech Model (USM), a single large model that performs automatic speech recognition (ASR) across 100+ languages. This is achieved by pre-training the encoder of the model on a large unlabeled multilingual dataset of 12 million (M) hours spanning over 300 languages, and fine-tuning on a smaller labeled dataset. We use multilingual pre-training with random-projection quantization and speech-text modality matching to achieve state-of-the-art performance on downstream multilingual ASR and speech-to-text translation tasks. We also demonstrate that despite using a labeled training set 1/7-th the size of that used for the Whisper model, our model exhibits comparable or better performance on both in-domain and out-of-domain speech recognition tasks across many languages.

研究の動機と目的

• 数百の言語とドメインをカバーするユニバーサルASRモデルの構築を動機づける。
• 大量のラベルなし多言語音声およびテキストデータを活用して、微調整用のより小さなラベル付きデータセットで強力なエンコーダを事前訓練する。
• ASRおよびASTタスク全般で高性能を実現する、スケーラブルな訓練および微調整パイプラインを開発する。
• SpeechStew、FLEURS、CORAAL、CoVoST 2などのベンチマークで最先端の結果を示す。

提案手法

• Conformerエンコーダー・バックボーンを使用する（600Mおよび2Bパラメータのバリアント）。
• 12M時間のラベルなしYouTube多言語データ（YT-NTL-U）に対して BEST-RQ（random-projection quantizer）でエンコーダを事前訓練する。
• MOST（multi-objective supervised pre-training）を適用して、BEST-RQとテキスト注入および監督損失を、ラベルなし音声、ラベルなしテキスト、および対になる音声-テキストデータ全体にわたって組み合わせる。
• ラベル付きデータ（YT-SUP+およびPub-S）上で監督付きASRターゲット（CTCとLAS）を訓練する。
• チャンク単位のアテンションを用いて、スケールの大きい頑健な長文ASRを可能にし、デコーダはCTC、LAS、またはRNN-Tとする。
• 言語/ドメイン適応のために、凍結された事前学習済みエンコーダに残差アダプタ（約2%のパラメータ）を追加することもできる。

Figure 1: An overview of our approach. Training is split into three stages. (i) The first stage trains a conformer backbone on a large unlabeled speech dataset, optimizing for the BEST-RQ objective. (ii) We continue training this speech representation learning model while optimizing for multiple obj

実験結果

リサーチクエスチョン

• RQ1 単一の大規模多言語モデルが、100言語以上にわたるASRおよびASTで、限られたラベル付きデータしかない状況でも競争力のあるまたはそれを超える性能を達成できるのか？
• RQ2 ラベルなし音声、ラベルなしテキスト、対になるデータを組み合わせた多段階事前訓練（BEST-RQ、MOST）の下流の多言語タスクへの効果はどの程度か？
• RQ3 チャンク単位のアテンションは、セグメントベースのデコードと比較して幻視を起こさずに頑健な長文ASRを実現できるか？
• RQ4 多数の言語に対するアダプタベースの微調整と全モデル微調整の影響はどのようか？

主な発見

• USMは、 SpeechStew、FLEURS、CORAAL、CoVoST 2などの複数のベンチマークで、さまざまな言語とドメインにおいて新しい最先端の結果を確立する。
• YouTube字幕付け（73言語）では、USMは指定された設定でWERが30%を下回る。
• 2BパラメータのUSMモデルは、90k時間の監督データで訓練され、Whisper（>400k時間で訓練）を選択した言語とタスクで上回ることができる。
• MOST（BEST-RQ + text-injection）は新しいドメインへの強力な適応を可能にする；アダプタは凍結されたエンコーダに約2%のパラメータを追加するだけで、依然として競争力のある結果を提供する。
• チャンク単位のアテンションは長文ASRの劣化を緩和し、長い発話に対して頑健な転写を生成する。

Figure 2: (Left) † WERs (%) Our language expansion effort to support more languages on YouTube (73 languages) and extending to 100+ languages on the public dataset (FLEURS). Lower is better. To the best of our knowledge, no published model can successfully decode all 73 languages from our YouTube se