[論文レビュー] Scaling End-to-End Models for Large-Scale Multilingual ASR

Bo Li, Ruoming Pang+8 more|arXiv (Cornell University)|Apr 30, 2021

Topic Modeling参考文献 42被引用数 13

ひとこと要約

本論文では、データの偏りとモデル容量の制限によって高リソース言語で性能低下が生じるのを克服するため、GShardを用いてエンドツーエンドの多言語ASRモデルを100億パラメータまでスケーリングすることを提案する。モデルサイズを拡大することで、15言語すべてで最先端の性能を達成し、高リソース言語では単言語ベースラインを上回り、追加の訓練を最小限に抑えつつ、新しい言語やドメインへの継続的適応が可能になる。

ABSTRACT

Building ASR models across many languages is a challenging multi-task learning problem due to large variations and heavily unbalanced data. Existing work has shown positive transfer from high resource to low resource languages. However, degradations on high resource languages are commonly observed due to interference from the heterogeneous multilingual data and reduction in per-language capacity. We conduct a capacity study on a 15-language task, with the amount of data per language varying from 7.6K to 53.5K hours. We adopt GShard [1] to efficiently scale up to 10B parameters. Empirically, we find that (1) scaling the number of model parameters is an effective way to solve the capacity bottleneck - our 500M-param model already outperforms monolingual baselines and scaling it to 1B and 10B brought further quality gains; (2) larger models are not only more data efficient, but also more efficient in terms of training cost as measured in TPU days - the 1B-param model reaches the same accuracy at 34% of training time as the 500M-param model; (3) given a fixed capacity budget, adding depth works better than width and large encoders do better than large decoders; (4) with continuous training, they can be adapted to new languages and domains.

研究の動機と目的

• モデル容量のボトル neck とデータの偏りによって引き起こされる大規模多言語ASRにおける高リソース言語の性能低下を解消すること。
• データ量の著しい差異（7.6K～53.5K時間）を示す言語間で、モデル容量の拡大が多言語ASR性能に与える影響を調査すること。
• 固定された容量予算下で、性能向上に最も効果的なスケーリング戦略（深さ対幅、エンコーダー対デコーダー容量）を特定すること。
• 継続的訓練によって、災難的忘却を伴わずに、多言語モデルを新しい言語やドメインに拡張することが可能かどうかを検討すること。
• より大きなモデルが、標本効率とトレーニングコスト（TPU日数）の両面で効率的であることを実証し、目標精度に到達するためのTPU日数を削減できること。

提案手法

• GShardの混合専門家（MoE）技術を採用し、トレーニング効率を維持したまま、モデルを100億パラメータまで効率的にスケーリングする。
• アテンションベースのエンコーダ-デコーダー構造を用い、ConformerエンコーダーとTransformerベースのデコーダーを搭載した、1つの多言語エンドツーエンドASRモデルを学習する。
• 固定されたパラメータ予算下で、幅（width）対深さ（depth）のスケーリング、およびエンコーダー対デコーダー容量の割り当てを比較するアブレーションスタディを実施する。
• 事前学習済みの多言語モデルを、新しい言語やドメイン（例：Multilingual Librispeechデータセットの読み上げ音声）に継続的訓練により適応させる。
• 15言語における語誤り率（WER）を用いて性能を測定し、目標精度に到達するまでのTPU日数とトレーニングステップ数を用いて効率性を評価する。
• 知識蒸留と転移学習を適用し、事前学習済み多言語モデルから初期化することで、収束性と性能の向上を図る。

Fig. 1 : WER performance (%) vs. (a) training steps, (b) TPU days and (c) language. Systems with * use LSTM decoders.

実験結果

リサーチクエスチョン

• RQ1 100億パラメータにモデル容量を拡大することで、多言語ASR環境下における高リソース言語の性能低下を解消できるか？
• RQ2 固定されたパラメータ予算下で、深さを増すのと幅を広げるのとでは、認識性能にどのように影響するか？
• RQ3 より大きなモデルは、多言語ASRにおいて標本効率を向上させ、トレーニングコスト（TPU日数）を削減できるか？
• RQ4 事前学習済み多言語モデルを継続的訓練により、既存の言語の性能低下を伴わずに、新しい言語やドメインに効果的にファインチューニングできるか？
• RQ5 多様な言語とドメインで事前学習することで、未学習の言語や発話スタイルに知識がどの程度転送されるか？

主な発見

• モデルを5億パラメータから100億パラメータにスケーリングすることで、15言語すべてでWERが一貫して低下し、10億パラメータモデルは高リソース言語において単言語ベースラインを上回る性能を達成した。
• 10億パラメータモデルは平均WER11.57%を達成し、32の単言語1420万パラメータモデル（平均WER11.87%）を上回った。フィリピン語（PH）についても、単言語設定では学習に失敗したが、本モデルでは成功した。
• 10億パラメータモデルは、5億パラメータモデルに到達するのと同じ精度を、トレーニング時間の34%で達成した。これは、TPU日数の観点からも、より高いトレーニング効率を示している。
• より大きなモデルは標本効率が高く、収束に必要な最適化ステップ数が少なく、言語やドメイン間での一般化性能も優れている。
• 継続的訓練により、モデルは新しい言語（例：Multilingual Librispeechの未学習の5言語）や新しいドメイン（例：長時間の読み上げ音声）に適応でき、ランダム初期化と比較して12%の相対的WER低下を達成した。
• Multilingual Librispeechデータセット上で10億パラメータ多言語モデルをファインチューニングすることで、平均WERは7.9%に低下し、10%の相対的改善が得られ、英語における性能低下の是正も達成した。

Fig. 2 : Extending the 15-language 1B model to 32 languages. (a) The data duration distribution per language. Yellow bars indicate the existing 15 languages and blue bars indicate the newly added languages. (b) WER (%) comparisons between monolingual models (grey), the existing 15-language 1B model