[論文レビュー] Semi-Supervised Speech Recognition via Local Prior Matching

Wei-Ning Hsu, Ann Lee+2 more|arXiv (Cornell University)|Feb 24, 2020

Speech Recognition and Synthesis参考文献 45被引用数 28

ひとこと要約

本稿では、ラベルなし音声およびテキストを用いて、強力な言語モデルから判別的ASRモデルへの知識蒸留を実現する半教師付き音声認識手法であるLocal Prior Matching (LPM) を提案する。LPMは、ラベルなし音声から生成された仮説の分布に対して、ASRモデルの出力分布を言語モデルのターゲット分布に一致させることで、ラベル付きデータがたった100時間、ラベルなしデータが360時間の条件下でも、クリーンおよびノイズありのLibriSpeechテストセットでそれぞれ54%および73%のWER回復を達成し、先行する知識蒸留および偽ラベル化手法を上回る性能を発揮する。

ABSTRACT

For sequence transduction tasks like speech recognition, a strong structured prior model encodes rich information about the target space, implicitly ruling out invalid sequences by assigning them low probability. In this work, we propose local prior matching (LPM), a semi-supervised objective that distills knowledge from a strong prior (e.g. a language model) to provide learning signal to a discriminative model trained on unlabeled speech. We demonstrate that LPM is theoretically well-motivated, simple to implement, and superior to existing knowledge distillation techniques under comparable settings. Starting from a baseline trained on 100 hours of labeled speech, with an additional 360 hours of unlabeled data, LPM recovers 54% and 73% of the word error rate on clean and noisy test sets relative to a fully supervised model on the same data.

研究の動機と目的

• 音声認識（ASR）におけるトランスクリプト付きデータの高コストおよび希少性を解消するため、ペairedでない音声およびテキストの大量データを活用すること。
• 追加モジュールの共同学習を必要とせず、言語モデルからASRモデルへの言語的事前知識を効果的に蒸留する半教師付き学習手法を開発すること。
• 理論的裏付けがあり、実装が簡単な目的関数を用いて、ラベルなしデータを活用することで低リソース環境におけるASR性能を向上させること。
• 事後分布（例：偽ラベル）からの蒸留ではなく、事前分布（言語モデル）からの蒸留が、より良い一般化性能および低いWERをもたらすことを示すこと。

提案手法

• LPMは、ラベルなし音声から複数の仮説を生成するプロポーザルモデルを用い、それらを事前学習済み言語モデルでスコア付けすることで、知識蒸留用のターゲット分布を生成する。
• ASRモデルは、生成された仮説の分布上での言語モデルの分布に一致するように、予測出力分布を学習する。この際、交差エントロピー損失が用いられる。
• 本手法は生成的モデリングに理論的裏付けを置き、$ p_{\mathbf{y}|\mathbf{x}} $ をベイズの定理を用いて $ p_{\mathbf{y}} $ と $ p_{\mathbf{x}|\mathbf{y}} $ で近似する。周辺化は仮説の上での近似が行われる。
• プロポーザルモデルは学習中に更新され、仮説の品質が時間経過とともに向上し、ASRモデルの段階的改善が可能になる。
• LPMは敵対的学習やサイクル整合性制約を回避し、代わりに強力な事前分布（言語モデル）からASRモデルへの原理的蒸留に依存する。
• 仮説の再利用とプロポーザルモデルの段階的更新により、最大60,000時間のラベルなしデータにもスケーラブルに拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが少量の条件下でも、言語モデルの事前分布からの知識蒸留がASR性能を向上させ得るか？
• RQ2 複数の仮説上でASRモデルの出力を言語モデルの分布に一致させることで、偽ラベル化や事後分布蒸留よりも一般化性能が向上するか？
• RQ3 プロポーザルモデルが生成する仮説の品質は、学習の進行に伴いどのように変化するか？また、その影響は最終的なASR性能にどのようなものか？
• RQ4 LPMは非常に大量のラベルなしデータにスケーラブルに拡張可能か？十分なラベルなしデータが利用可能な場合、完全教師ありベースラインを上回るか？
• RQ5 生成された仮説の言語的妥当性とモデル性能の相関関係は何か？また、言語モデルのパープレクサリティを用いてその相関関係を定量的に測定可能か？

主な発見

• ラベル付きデータ100時間、ラベルなしデータ360時間の条件下で、LPMは完全教師ありモデル（460時間のラベル付きデータで学習）を基準として、クリーンおよびノイズありのLibriSpeechテストセットでそれぞれ54%および73%のWER回復を達成した。
• ラベル付きデータ100時間、ラベルなしデータ860時間で学習したLPMは、460時間のラベル付きデータで学習した完全教師ありモデルの性能を上回り、dev-cleanおよびdev-otherセットでそれぞれ59.53%および108.33%のWER回復を達成した。
• 強力な偽ラベルベースライン（Kahn et al., 2019a）を上回り、ラベルなしデータ860時間の後、LPMのWERは13.00%、偽ラベル化のWERは21.51%であった。
• LPMモデルが生成する仮説の言語モデルパープレクサリティは、ベースラインおよび偽ラベル化手法よりも顕著に低く、dev-cleanおよびdev-otherでそれぞれ59.84および125.42であった。これは、言語的妥当性の向上を示している。
• LPMモデルのプロポーザルモデルは学習に伴い改善され、train-other-500におけるラベルなしデータのWERは29.03%から13.00%に低下した。これは段階的改善の有効性を示している。
• 60,000時間のラベルなしデータにスケーリングした場合、LPMは83.03%および115.90%のWER回復を達成し、大規模データへのスケーラビリティと継続的な性能向上を示した。