[論文レビュー] Momentum Pseudo-Labeling for Semi-Supervised Speech Recognition

Yosuke Higuchi, Niko Moritz+2 more|arXiv (Cornell University)|Jun 16, 2021

Speech Recognition and Synthesis参考文献 45被引用数 4

ひとこと要約

本稿では、エンドツーエンド自動音声認識（ASR）のためのシンプルでありながら効果的な半教師あり学習手法であるMomentum Pseudo-Labeling（MPL）を提案する。MPLは、トレーニング中に反復的に擬似ラベルを精錬するため、オンラインモデルとモーメンタム平均重みを用いたオフラインモデルを用いる。この手法により、ビームサーチや言語モデルを必要とせず、多様なデータ量およびドメイン不一致の状況において最先端の性能を達成した。

ABSTRACT

Pseudo-labeling (PL) has been shown to be effective in semi-supervised automatic speech recognition (ASR), where a base model is self-trained with pseudo-labels generated from unlabeled data. While PL can be further improved by iteratively updating pseudo-labels as the model evolves, most of the previous approaches involve inefficient retraining of the model or intricate control of the label update. We present momentum pseudo-labeling (MPL), a simple yet effective strategy for semi-supervised ASR. MPL consists of a pair of online and offline models that interact and learn from each other, inspired by the mean teacher method. The online model is trained to predict pseudo-labels generated on the fly by the offline model. The offline model maintains a momentum-based moving average of the online model. MPL is performed in a single training process and the interaction between the two models effectively helps them reinforce each other to improve the ASR performance. We apply MPL to an end-to-end ASR model based on the connectionist temporal classification. The experimental results demonstrate that MPL effectively improves over the base model and is scalable to different semi-supervised scenarios with varying amounts of data or domain mismatch.

研究の動機と目的

• エンドツーエンド自動音声認識（ASR）におけるラベル付きデータの不足という課題に取り組み、高額なアノテーションコストを低減すること。
• データ不足やドメイン不一致の下で、既存の反復的擬似ラベル付け（IPL）手法に見られる不安定性と非効率性を克服すること。
• ヒューリスティックなラベル更新制御を不要とし、外部言語モデルやビームサーチへの依存を減らす、スケーラブルで単一ステージのトレーニングフレームワークを構築すること。
• モーメンタムベースの重み平均を用いたモデルアンサンブルにより、半教師ありASRにおけるモデルの汎化性能と耐性を向上させること。
• さまざまなデータ量およびドメインシフトの下でも、無作為データを効果的に自己訓練可能にし、実世界への適用性を高めること。

提案手法

• オンラインモデルとオフラインモデルを備えた二重モデルフレームワークを導入し、オフラインモデルがオンラインモデルの重みをモーメンタムベースで移動平均する。
• トレーニング中にオフラインモデル（教師モデルとして機能）を用いて、無ラベルデータの擬似ラベルをリアルタイムに生成する。
• オンラインモデルを、ラベル付きデータと、オフラインモデルから動的に更新される擬似ラベルの両方を用いて学習する。
• オフラインモデルの重みを指数的平均で更新する：$\phi \leftarrow \alpha \phi + (1 - \alpha)\xi$、ここで$\alpha$はモーメンタム係数。
• データ依存の重み$w$を用いてモーメンタム更新を制御し、ベースモデルの保持と適応速度のバランスを図ることで、手動によるハイパーパramータチューニングの必要性を低減する。
• 単一のトレーニングループ内で手法を適用し、再トレーニングや複雑なスケジューリングを必要とせず、安定的かつ効率的な自己訓練を実現する。

Table 2: WER [ $\%$ ] and WRR [ $\%{\uparrow}$ ] on out-domain TEDLIUM3 (TED3) setting.

実験結果

リサーチクエスチョン

• RQ1 モーメンタムベースの二重モデルフレームワークは、標準的または反復的アプローチと比較して、半教師ありASRにおける擬似ラベル付けの安定性と有効性を向上させるか？
• RQ2 MPLは、無ラベルデータ量の変動や、ラベル付きデータと無ラベルデータの間のドメイン不一致の下でも、どのように性能を発揮するか？
• RQ3 MPLは、擬似ラベル生成に外部言語モデルやビームサーチへの依存をどの程度低減できるか？
• RQ4 モーメンタム更新重み$w$はモデルの収束と性能にどのような影響を及ぼし、広範なハイパーパramータサーチなしで効果的にチューニング可能か？
• RQ5 最終的なASR精度とトレーニング効率の観点から、MPLは反復的擬似ラベル付け（IPL）を上回るか？

主な発見

• LS-100/LS-360設定下で、MPLはLibriSpeech test-cleanで9.6%のWERを達成し、反復的擬似ラベル付け（PL4：9.9% / 24.2%）と標準的PL（24.4% / 39.2%）を上回った。
• LS-100/LS-860設定下では、MPLがtest-cleanで9.2%（WER）、test-otherで18.1%（WER）に低下し、PL4（9.4% / 20.7%）を上回り、より大きな無ラベルデータへのスケーラビリティを示した。
• ドメイン不一致（LS-100/TED3）下で、MPLはTED3テストセットで17.6%のWERを達成し、PL4（21.3%）を顕著に上回り、分布シフトに強い性能を示した。
• 提案されたモーメンタムチューニング戦略（$w=0.5$）により、低$w$での不安定性や高$w$での性能低下を効果的に抑制し、手動チューニングの必要性を最小限に抑えた。
• SpecAugmentを適用しない場合、MPLの性能は39.7% / 48.1%（WER）に低下し、データ拡張がMPLの有効性と汎化性能にとって不可欠であることを示した。
• チェックポイント平均化後のオンラインモデルは、オフラインモデルとほぼ同等の性能を示し、トレーニングプロセスの安定性と一貫性を裏付けた。