[論文レビュー] Improving Low-Resource Speech Recognition with Pretrained Speech Models: Continued Pretraining vs. Semi-Supervised Training

Mitchell DeHaven, Jayadev Billa|arXiv (Cornell University)|Jul 1, 2022

Speech Recognition and Synthesis被引用数 5

ひとこと要約

この論文は、低リソース音声認識のための自己教師付き学習（ASR）における、XLSR-53音声モデルの継続的微調整（CoPT）と、半教師付き学習（SST）の代替手法として、言語内でのラベルなし音声データを用いたCoPTの有効性を評価している。CoPTはSSTと同等またはそれ以上の単語誤り率（WER）を達成しており、計算コストが低く、SSTと組み合わせてCoPTによって生成された偽ラベルを用いることで、ジョージア語、ペルシャ語、ソマリ語、タガログ語の全言語でさらにWERの改善が得られる。

ABSTRACT

Self-supervised Transformer based models, such as wav2vec 2.0 and HuBERT, have produced significant improvements over existing approaches to automatic speech recognition (ASR). This is evident in the performance of the wav2vec 2.0 based pretrained XLSR-53 model across many languages when fine-tuned with available labeled data. However, the performance from finetuning these models can be dependent on the amount of in-language or similar-to-in-language data included in the pretraining dataset. In this paper we investigate continued pretraining (CoPT) with unlabeled in-language audio data on the XLSR-53 pretrained model in several low-resource languages. CoPT is more computationally efficient than semi-supervised training (SST), the standard approach of utilizing unlabeled data in ASR, since it omits the need for pseudo-labeling of the unlabeled data. We show CoPT results in word error rates (WERs), equal to or slightly better than using SST. In addition, we show that using the CoPT model for pseudo-labeling, and using these labels in SST, results in further improvements in WER.

研究の動機と目的

• 言語内でのラベルなし音声データを用いた継続的微調整（CoPT）が、低リソース音声認識性能を向上させるかどうかを調査すること。
• 標準的なラベルなしデータ活用手法である半教師付き学習（SST）と比較して、CoPTの有効性を検証すること。
• CoPTとSSTを順次適用した場合の相乗効果を評価すること。
• CoPTに用いるラベルなしデータがターゲットデータとドメインが一致しているか否かが、CoPTの有効性に与える影響を検討すること。
• XLSR-53のような多言語自己教師付きモデルにCoPTを適用するための最良の実践法を確立すること。

提案手法

• IARPA MATERIALプログラムおよびBABELデータセットから得た、小規模なラベル付き言語内データを用いて、XLSR-53モデルを微調整する。
• 対象言語のニュースチャンネルから得た1,000時間のラベルなしYouTube音声データを用いて、XLSR-53モデルに継続的微調整（CoPT）を適用する。
• ベースラインのXLSR-53モデルを用いてSST用の偽ラベルを生成し、ラベル付きデータとフィルタリングされた偽ラベル付きデータの組み合わせでモデルを再訓練する。
• 最良のCoPTモデルを用いて、SST用の改善された偽ラベルを生成し、その拡張されたデータでモデルを再訓練する。
• 全モデルを言語固有のテストセット、ならびにジャンル別に分割されたテストセット（電話通話、ニュース、トピカル番組）で評価する。
• 複数の低リソース言語において、CoPT、SST、およびハイブリッドなCoPT+SSTパイプラインの間でWERを比較する。

実験結果

リサーチクエスチョン

• RQ1 標準的な半教師付き学習（SST）と比較して、言語内でのラベルなし音声データを用いた継続的微調整（CoPT）は、低リソース環境下でのASR性能を向上させるか？
• RQ2 単語誤り率（WER）、計算コスト、実装の複雑さの観点から、CoPTとSSTの性能を比較するとどうなるか？
• RQ3 CoPTとSSTを併用することで、低リソースASRにおいてさらなる性能向上が達成できるか？
• RQ4 CoPTデータとターゲットデータのドメイン整合性（例：ニュース番組 vs. 会話形式の音声）がモデル性能に与える影響は何か？
• RQ5 たとえラベルなしデータがドメイン外（例：ニュース番組音声を用いて会話形式の音声認識を向上）であっても、CoPTは有効か？

主な発見

• Georgian, Farsi, Somali, Tagalogの全言語において、CoPTはSSTと同等またはそれ以上の単語誤り率（WER）を達成している。
• ジョージア語では、MATERIAL分析セットにおいて、ベースラインのWER 33.8からCoPTで32.7に低下し、SSTと組み合わせることでさらなる改善が得られた。
• ペルシャ語では、WERが41.5から38.2に低下し、ハイブリッドなCoPT+SSTアプローチによりさらに37.4にまで低下し、強い相乗効果が確認された。
• BABEL開発セットでは、ジョージア語で31.9から30.7に、タガログ語で36.3から35.2にWERが低下したが、YouTubeデータは会話形式の音声とはドメインが異なるにもかかわらず、依然として改善が見られた。
• CoPTによるWERの最大の改善は、ニュース番組（NB）およびトピカル番組（TB）のジャンルで観察され、これらはYouTube音声とスタイルや内容が類似しているためである。
• CoPTによって生成された偽ラベルをSSTに活用することで、特にペルシャ語とタガログ語においてさらなる改善が得られ、CoPTとSSTが相乗的に効果を発揮することが示された。