[論文レビュー] Learning to Recognize Code-switched Speech Without Forgetting Monolingual Speech Recognition

Sanket Shah, Basil Abraham+3 more|arXiv (Cornell University)|Jun 1, 2020

Speech Recognition and Synthesis参考文献 13被引用数 10

ひとこと要約

本稿では、元の単語語彙データにアクセスできない状況でも、学習の際に忘却しない（LWF）フレームワークを用いて、コードスイッチド音声のエンドツーエンド音声認識モデルを訓練する手法を提案する。LWFを用いることで、コードスイッチドデータに対する微調整中に元の単語語彙分布を保持でき、標準的な微調整法や統合データ法と比較して、単語誤り率（WER）が両方のテストセットで低くなる。

ABSTRACT

Recently, there has been significant progress made in Automatic Speech Recognition (ASR) of code-switched speech, leading to gains in accuracy on code-switched datasets in many language pairs. Code-switched speech co-occurs with monolingual speech in one or both languages being mixed. In this work, we show that fine-tuning ASR models on code-switched speech harms performance on monolingual speech. We point out the need to optimize models for code-switching while also ensuring that monolingual performance is not sacrificed. Monolingual models may be trained on thousands of hours of speech which may not be available for re-training a new model. We propose using the Learning Without Forgetting (LWF) framework for code-switched ASR when we only have access to a monolingual model and do not have the data it was trained on. We show that it is possible to train models using this framework that perform well on both code-switched and monolingual test sets. In cases where we have access to monolingual training data as well, we propose regularization strategies for fine-tuning models for code-switching without sacrificing monolingual accuracy. We report improvements in Word Error Rate (WER) in monolingual and code-switched test sets compared to baselines that use pooled data and simple fine-tuning.

研究の動機と目的

• コードスイッチド音声認識における深刻な忘却問題に対処すること。特に、コードスイッチドデータに対する微調整が単語語彙音声認識性能に悪影響を及えること。
• 単語語彙学習データが入手不可である状況でも、コードスイッチド音声認識の精度を向上させつつ、単語語彙認識性能を維持する手法を開発すること。
• 限られたコードスイッチドデータでも、単語語彙およびコードスイッチド音声認識の両方で高い精度を維持する正則化および微調整戦略を提案すること。
• LWFフレームワークが、元の単語語彙学習データにアクセスできない状況でも、コードスイッチングのための効果的なドメイン適応を可能にすることを示すこと。
• モデルの汎化性を確保するため、コードスイッチド音声認識研究において単語語彙性能の報告を推奨すること。

提案手法

• 元の単語語彙学習データにアクセスできない状況でも、事前学習済み単語語彙音声認識モデルをコードスイッチド音声で微調整できるように、学習の際に忘却しない（LWF）フレームワークを採用する。
• 2段階の訓練プロセスを採用する：まず、共有層および単語語彙固有層を固定し、新しいコードスイッチドタスク固有ヘッドのみを訓練する（ウォームアップ段階）。
• 次に、共有層および単語語彙コンponentsを含むすべての層を同時に微調整し、元のモデルからの知識を蒸留損失により保持する。
• 微調整段階において、新しいモデルが元の単語語彙モデルの出力確率を模倣するように知識蒸留を適用する。
• 単語語彙データにアクセス可能な場合、単語語彙およびコードスイッチド性能の両方を最適化する正則化および微調整戦略を適用する。
• 共有エンコーダ層とタスク固有ヘッド（単語語彙用：θₘ、コードスイッチド用：θ_c）を備えたCTCベースのエンドツーエンドモデルを用いる。

実験結果

リサーチクエスチョン

• RQ1 コードスイッチドデータに対する微調整が、単語語彙テストセットでの性能低下を引き起こす（深刻な忘却）ことはあるか？
• RQ2 LWFフレームワークは、コードスイッチド音声認識精度を向上させつつ、単語語彙性能を効果的に維持できるか？
• RQ3 標準的な微調整法および統合データ学習と比較して、LWFベースのアプローチは単語語彙およびコードスイッチドテストセットにおけるWERでどの程度優れているか？
• RQ4 単語語彙学習データが入手不可な状況でも、LWF手法は、事前学習済み単語語彙モデルのみに依存して有効に機能するか？
• RQ5 正則化および微調整戦略の影響は、単語語彙およびコードスイッチド音声認識の両方の性能にどのように現れるか？

主な発見

• LWFモデルはタミル語単語語彙テストセットで48.90 WERを達成し、単語語彙ベースライン（50.09 WER）および微調整モデル（50.03 WER）を上回った。
• テルグ語-英語コードスイッチドデータでは、LWFモデルが43.60 WERを達成し、同テストセットで最高の微調整モデル（39.32 WER）を上回った。
• LWFモデルは、微調整モデルが示す単語語彙性能の低下を軽減した。特に、グジャラート語では微調整モデルのWERが41.99から46.42に上昇したが、LWFは42.30 WERを維持した。
• LWFモデルは、元の単語語彙データにアクセスしない状況でも、統合モデルの微調整結果をすべてのテストセットで上回った。
• LWFフレームワークは深刻な忘却を緩和し、元の単語語彙およびコードスイッチド音声認識の両方の最適化を性能のトレードオフなしに可能にした。
• 本研究では、コードスイッチドデータに対する標準的な微調整が単語語彙性能に悪影響を及えることが示され、多言語音声認識における継続的学習技術の必要性が浮き彫りになった。