[論文レビュー] A Survey of Multilingual Models for Automatic Speech Recognition

Hemant Kumar Yadav, Sunayana Sitaram|arXiv (Cornell University)|Feb 25, 2022

Speech Recognition and Synthesis被引用数 15

ひとこと要約

本調査は、低リソース言語における性能向上を図るために、クロスリンガウルトランスファーと自己教師付き学習（SSL）を活用する多言語自動音声認識（ASR）モデルをレビューする。豊富なラベルなし音声データで事前学習し、限定的なラベル付きデータでファインチューニングすることで、特に言語的に関連するか多様な言語セットを含む事前学習が行われた場合、複数の言語で顕著な向上が達成される。

ABSTRACT

Although Automatic Speech Recognition (ASR) systems have achieved human-like performance for a few languages, the majority of the world's languages do not have usable systems due to the lack of large speech datasets to train these models. Cross-lingual transfer is an attractive solution to this problem, because low-resource languages can potentially benefit from higher-resource languages either through transfer learning, or being jointly trained in the same multilingual model. The problem of cross-lingual transfer has been well studied in ASR, however, recent advances in Self Supervised Learning are opening up avenues for unlabeled speech data to be used in multilingual ASR models, which can pave the way for improved performance on low-resource languages. In this paper, we survey the state of the art in multilingual ASR models that are built with cross-lingual transfer in mind. We present best practices for building multilingual models from research across diverse languages and techniques, discuss open questions and provide recommendations for future work.

研究の動機と目的

• 転写された音声データが不足する低リソース言語における自動音声認識（ASR）の性能格差を解消すること。
• 高リソースおよび低リソースの両設定において、多言語ASRモデルが単言語モデルを上回る性能を示すかどうかを調査すること。
• 自己教師付き学習（SSL）とラベルなしデータの役割が、低リソース言語のASR性能向上にどのように寄与するかを検討すること。
• 転移学習と多様な事前学習データを活用した効果的な多言語ASRモデルの構築に向けたベストプラクティスを同定すること。
• 特に非常に低リソース言語や代表されていない言語系統に対する多言語ASRの今後の研究を導くため、未解決の課題を強調すること。

提案手法

• ラベル付きデータのみで訓練されたモデルと、自己教師付き事前学習の後、ラベル付きデータでファインチューニングするモデルに多言語ASRモデルを分類すること。
• リソースレベルが異なる言語間での性能評価を通じてクロスリンガウルトランスファーを分析し、ゼロショットおよびフェイントショット設定を含む。
• 事前学習データの多様性が、下流のASR精度に与える影響を評価すること。具体的には、複数の言語や言語的に関連する言語を用いた場合の影響を検証。
• モデルアーキテクチャ、多言語設定における言語数、言語の類似性が、トランスファー性能に与える影響を評価すること。
• 事前学習データとファインチューニングデータのドメイン不一致が、モデルの汎化性能に与える影響を調査すること。
• 多様な言語系統やデータセットサイズをカバーするベンチマーク評価を用いて、モデルの頑健性とスケーラビリティを評価すること。

実験結果

リサーチクエスチョン

• RQ1 高リソースおよび低リソース言語の両方において、多言語ASRモデルは単言語モデルを上回るASR精度を達成するか？
• RQ2 大量のラベルなし音声データを用いた自己教師付き事前学習は、低リソース言語のASR性能を向上させることができるか？
• RQ3 言語の多様性（事前学習時の言語の多様性）、モデル容量、言語の類似性といった要因が、多言語ASRにおけるクロスリンガウルトランスファーの成功にどのように影響するか？
• RQ4 低リソース言語で意味的な性能向上を達成するために、ファインチューニングに最低限必要なラベル付きデータ量はどの程度か？
• RQ5 数時間程度の転写データしか入手できない非常に低リソース言語に多言語ASRを拡張する際の主な課題と未解決の問題は何か？

主な発見

• 多様なラベルなし音声データを用いた自己教師付き学習で事前学習された多言語ASRモデルは、ターゲット言語が事前学習セットに含まれていなくても、低リソース言語で性能向上を示す。
• 同じ合計データ量であっても、英語のような単一言語での事前学習よりも、ターゲット言語に関連する言語や多様な言語セットを含む事前学習の方が、より高い性能を達成する。
• モデルが十分に大きく深く、多言語処理に耐えうる能力を備えていれば、言語数の増加に伴い性能が向上する。
• ファインチューニングには最低限のラベル付きデータ量が必要であり、数時間程度のデータしか入手できない極めて低リソース言語では、事前学習の有無に関わらず依然として挑戦的である。
• 言語が類似している場合、クロスリンガウルトランスファーはより効果的であり、類似した言語間で共有デコーダーを用いることで、遠く離れた言語系統間よりも優れた結果が得られる。
• 自己教師付き事前学習はドメインを越えて一般化可能であり、事前学習データとファインチューニングデータが異なるドメインであっても性能向上が見られるが、モデル容量が十分でない場合、高リソース言語では性能が若干低下する可能性がある。