[論文レビュー] Iterative Pseudo-Labeling for Speech Recognition

Qiantong Xu, Tatiana Likhomanenko+4 more|arXiv (Cornell University)|May 19, 2020

Speech Recognition and Synthesis参考文献 36被引用数 27

ひとこと要約

本論文は、事前学習済み音声認識モデルを微調整することで、非ラベル付きデータに対して繰り返し擬似ラベルを生成・精錬する半教師あり音声認識手法である反復的擬似ラベル化（IPL）を提案する。この手法は、性能を顕著に向上させ、LibriSpeechで最先端の単語誤り率（WER）を達成する。960時間のラベル付きデータを用いた場合、テスト・オザーでWERを1.85%まで低下させ、100時間のみのラベル付きデータでも3.19%まで低下させる。モデルの微調整とデータセットの部分抽出により、計算コストも抑えることができる。

ABSTRACT

Pseudo-labeling has recently shown promise in end-to-end automatic speech recognition (ASR). We study Iterative Pseudo-Labeling (IPL), a semi-supervised algorithm which efficiently performs multiple iterations of pseudo-labeling on unlabeled data as the acoustic model evolves. In particular, IPL fine-tunes an existing model at each iteration using both labeled data and a subset of unlabeled data. We study the main components of IPL: decoding with a language model and data augmentation. We then demonstrate the effectiveness of IPL by achieving state-of-the-art word-error rate on the Librispeech test sets in both standard and low-resource setting. We also study the effect of language models trained on different corpora to show IPL can effectively utilize additional text. Finally, we release a new large in-domain text corpus which does not overlap with the Librispeech training transcriptions to foster research in low-resource, semi-supervised ASR

研究の動機と目的

• 大規模な非ラベル付き音声データを活用することで、低リソースな自動音声認識（ASR）における性能ギャップを是正すること。
• 各擬似ラベル化の反復で学習を再開する際の計算非効率性を克服すること。
• 言語モデルによる多様なテキストコーパスからの知識の効果的な転送により、モデルの汎化性能を向上させること。
• 微調整を用いた擬似ラベルの反復的精錬が、一回渡しの擬似ラベル化を上回る一貫した性能向上をもたらすことを示すこと。
• LibriLightのような大規模データセットに適したスケーラブルで効率的な半教師あり学習フレームワークを提供すること。

提案手法

• ビームサーチデコード中に現在の音声認識モデルと言語モデルを用いて、非ラベル付きデータのダウンサンプルされたサブセットに対して繰り返し擬似ラベルを生成する。
• 再訓練を避けるために、ラベル付きデータおよび新たに生成された擬似ラベル付きデータ上で、既存の音声認識モデルを微調整する。
• 各微調整ステップでデータ拡張を適用し、耐障害性および汎化性能を向上させる。
• 推論時間と計算コストを削減しながら性能を維持するために、非ラベル付きデータセットをサブサンプリングする。
• デコード中に安定した擬似ラベル生成を実現するため、接続主義的時系列分類（CTC）損失を用いる。
• モデルをまずラベル付きデータで事前学習し、その後擬似ラベル付きデータを用いて反復的に最適化するマルチステージトレーニングプロトコルを採用する。

Figure 7: WER with different LM weights used in beam-search decoding and rescoring.

実験結果

リサーチクエスチョン

• RQ1 微調整を用いた擬似ラベルの反復的精錬は、一回渡しの擬似ラベル化を上回るASR性能向上をもたらすか？
• RQ2 特にドメイン内とドメイン外のテキストを用いた言語モデルの選択が、擬似ラベルの品質および最終的なモデル性能に与える影響はいかほどか？
• RQ3 データのサブサンプリングと微調整によって、トレーニング時間をどの程度短縮できるか、かつ精度を維持または向上できるか？
• RQ4 反復的設定において、言語モデルを用いたビームサーチデコードは、グリーディデコードに比べてより優れた擬似ラベル品質をもたらすか？
• RQ5 IPLは、大規模でペairされないテキストコーパスを効果的に活用し、低リソースASR環境での性能向上を実現できるか？

主な発見

• IPLは、960時間のラベル付きデータを用いたLibriSpeechテスト・オザーで、最先端の単語誤り率（WER）1.85%を達成し、先行手法を上回る。
• 100時間のラベル付きデータのみを用いた場合、IPLはテスト・オザーでWERを3.19%まで低下させ、低リソース環境下でも顕著な有効性を示した。
• 4-gram言語モデルに加え、Transformer言語モデルによるリスコアリングを適用した場合、960時間のラベル付きデータと54Kのドメイン内テキストを用いて、テスト・オザーでWERは3.26%となった。
• IPLは、再訓練から全トレーニングを実行する場合と比較して、最大80%のトレーニング時間を短縮した：WER 4.12%を8日間で達成した一方で、全再訓練では17日間を要した。
• 非ラベル付きデータを20%にダウンサンプリングすることで、擬似ラベル生成の処理速度が5倍に向上し、性能低下は最小限に抑えられた。
• 低いパープレキシティを持つ言語モデルであっても、ドメイン内テキスト（例：LV-54K）を用いることで、IPLはより良いWERを達成した。これは、潜在的なラベル漏れの影響を受ける可能性がある中でも、効果的な知識転送が実現されていることを示している。

Figure 8: Comparison of the WER heatmap of rescoring LM weight on development and training set. Left: decoding a checkpoint of an AM that is not fully converged, with (a) WER on dev-other and (b) WER on train-clean-100 and train-other-500 . Right: decoding a fully converged AM, with (c) WER on dev-o