[論文レビュー] Continuous Pseudo-Labeling from the Start

Dan Berrebbi, Ronan Collobert+3 more|arXiv (Cornell University)|Oct 17, 2022

Speech Recognition and Synthesis被引用数 6

ひとこと要約

この論文は、自動音声認識（ASR）における訓練の初期段階から継続的な偽ラベル化を提案し、初期の教師あり事前学習フェーズを不要にする。動的キャッシュ制御（進化する偽ラベル間のレーベンシュタイン距離に基づく）と予測分布からのサンプリングを用いることで、訓練の安定化を図り、外部言語モデルを用いなくてもLibriSpeechおよびCommon Voiceで最先端の結果を達成する。低リソース設定でも、先行手法を上回る性能を発揮する。

ABSTRACT

Self-training (ST), or pseudo-labeling has sparked significant interest in the automatic speech recognition (ASR) community recently because of its success in harnessing unlabeled data. Unlike prior semi-supervised learning approaches that relied on iteratively regenerating pseudo-labels (PLs) from a trained model and using them to train a new model, recent state-of-the-art methods perform `continuous training' where PLs are generated using a very recent version of the model being trained. Nevertheless, these approaches still rely on bootstrapping the ST using an initial supervised learning phase where the model is trained on labeled data alone. We believe this has the potential for over-fitting to the labeled dataset in low resource settings and that ST from the start of training should reduce over-fitting. In this paper we show how we can do this by dynamically controlling the evolution of PLs during the training process in ASR. To the best of our knowledge, this is the first study that shows the feasibility of generating PLs from the very start of the training. We are able to achieve this using two techniques that avoid instabilities which lead to degenerate models that do not generalize. Firstly, we control the evolution of PLs through a curriculum that uses the online changes in PLs to control the membership of the cache of PLs and improve generalization. Secondly, we find that by sampling transcriptions from the predictive distribution, rather than only using the best transcription, we can stabilize training further. With these techniques, our ST models match prior works without an external language model.

研究の動機と目的

• 自己学習で一般的に用いられる初期の教師あり事前学習フェーズを排除することで、低リソースASRにおける過学習を是正すること。
• 初期訓練段階での不安定性を回避し、訓練の最初のステップから安定的かつ効果的な継続的偽ラベル化を実現すること。
• ラベルの進化に基づく動的キャッシュ制御により、低リソース設定での一般化性能を向上させること。
• 最良のトランスクリプションのみを用いるのではなく、予測分布全体からのサンプリングが訓練の安定性を向上させることを示すこと。
• 多様なデータセット（例：Common Voice）を用いた検証により、手法の汎用性と頑健性を示すこと。

提案手法

• 連続する偽ラベル間のレーベンシュタイン距離を測定することで、動的カリキュラムを用いて偽ラベルキャッシュを制御し、安定的かつ進化するトランスクリプションのみを保持する。
• グリーディデコードではなく、モデルの全予測分布からのアライメントサンプリングを用いることで、ノイズを低減し、ラベル品質を向上させる。
• 非常に最近のモデルバージョンを用いたオンライン偽ラベル化を適用し、反復的な教師-生徒ループを必要とせずに継続的訓練を可能にする。
• ラベルの一貫性と時間的変化に基づいて進化するキャッシュメカニズムを採用し、信頼性が高く進化する予測を優先する。
• 特に低データ環境下での訓練安定化を図るため、動的バッチ処理とバッチサイズの増加を適用する。
• ハイパーパrameterの再調整なしに、異なるアーキテクチャや位置埋め込み（例：正弦波、CAPE）に適応可能である。

実験結果

リサーチクエスチョン

• RQ1 初期の教師あり事前学習フェーズを排除した状態で、訓練開始時から継続的偽ラベル化を効果的に適用できるか？
• RQ2 低リソースASR設定における自己学習の初期段階での訓練不安定性は、どのように緩和できるか？
• RQ3 最も確率の高いトランスクリプションのみを用いるのではなく、予測分布全体からのサンプリングが、安定性と性能向上に寄与するか？
• RQ4 偽ラベルの進化に基づく動的カリキュラムが、一般化性能の向上と過学習の低減に寄与するか？
• RQ5 提案手法は、ハイパーパrameterの再チューニングなしに、異なるデータセットやモデルアーキテクチャに一般化可能か？

主な発見

• 本手法は、事前学習を一切行わず、LibriSpeech 10hおよび100h設定で最先端の性能を達成し、先行手法と同等またはそれを上回る。
• LibriSpeech 10hサブセットでは、dev-cleanでWER 8.2、dev-otherで13.1を達成し、事前学習を用いた slimIPL よりも優れた性能を示した。
• Common Voice フランス語設定では、10hの低リソース環境下で、slimIPL より相対的に18% WERを低減し、validで24.6、testで26.0のWERを達成した。
• 24人のスピーカーを有する10h Libri-Lightサブセットでも、標準的な slimIPL が事前学習なしに発散する中、本手法は訓練を安定化させた。
• アブレーションスタディーにより、動的キャッシュ制御とアライメントサンプリングが安定性に不可欠であることが示された。両方の構成要素を欠損させると発散が生じた。
• 本手法は、正弦波やCAPEを含む異なる位置埋め込みやモデルアーキテクチャにも一般化可能であり、設定間でのハイパーパrameterチューニングが不要である。