[論文レビュー] Self-training and Pre-training are Complementary for Speech Recognition

Qiantong Xu, Alexei Baevski+6 more|arXiv (Cornell University)|Oct 22, 2020

Speech Recognition and Synthesis参考文献 37被引用数 13

ひとこと要約

この論文は、自己学習（偽ラベル付け）とwav2vec 2.0を用いた教師なし事前学習が、音声認識において補完的であることを示しており、最小限のラベル付きデータで最先端の結果を達成している。10分間のラベル付きデータと53,000時間のラベルなしLibriVoxデータを用いて、LibriSpeechのclean/otherセットでそれぞれ3.0%/5.2%のWERを達成し、1年前に960時間のラベル付きデータで学習されたシステムと同等の性能を発揮している。

ABSTRACT

Self-training and unsupervised pre-training have emerged as effective approaches to improve speech recognition systems using unlabeled data. However, it is not clear whether they learn similar patterns or if they can be effectively combined. In this paper, we show that pseudo-labeling and pre-training with wav2vec 2.0 are complementary in a variety of labeled data setups. Using just 10 minutes of labeled data from Libri-light as well as 53k hours of unlabeled data from LibriVox achieves WERs of 3.0%/5.2% on the clean and other test sets of Librispeech - rivaling the best published systems trained on 960 hours of labeled data only a year ago. Training on all labeled data of Librispeech achieves WERs of 1.5%/3.1%.

研究の動機と目的

• 自己学習と教師なし事前学習が、類似したパターンを学習するのではなく、補完的であるかどうかを調査すること。
• ラベル付きデータが限られる低リソース環境において、wav2vec 2.0事前学習と偽ラベル付けを組み合わせた有効性を評価すること。
• 偽ラベル付け中に使用された言語モデルが、最終的な音声モデルにどの程度取り込まれているかを理解すること。
• ラベル付きデータとラベルなしデータの比率が、両手法を組み合わせた際の性能向上に与える影響を分析すること。

提案手法

• マスクされた潜在表現に対するコントラスト学習を用いて、53,000時間のラベルなしLibriVox音声データ上でwav2vec 2.0モデルを事前学習する。
• 利用可能なラベル付きデータ（例：LibriSpeechの10分間または960時間）で事前学習済みのwav2vec 2.0モデルを微調整し、初期音声モデルを生成する。
• 微調整済みモデルと言語モデルを用いて、全ラベルなしLibriVoxデータセットに対して偽ラベルを生成する。
• 元のラベル付きデータと偽ラベル付きデータの集合を用いて、最終的な音声モデルを再び学習するか、微調整する。
• 蒸留効果を評価するために、完全から学習したseq2seqモデルとCTC微調整モデルの性能を比較する。
• データ比を一定に保つことで、実験全体でラベル付きデータとラベルなしデータの割合を制御し、データ量と手法の組み合わせによる影響を分離する。

実験結果

リサーチクエスチョン

• RQ1 自己学習と教師なし事前学習は、音声認識において補完的であるか、それとも重複した表現を学習するのか？
• RQ2 wav2vec 2.0事前学習と偽ラベル付けを組み合わせることで、ラベル付きデータが極めて少ない低リソース環境で性能が顕著に向上するか？
• RQ3 推論時に外部言語モデルを使用しない場合でも、偽ラベル付け中に使用された言語モデルが最終的な音声モデルにどの程度蒸留されているか？
• RQ4 ラベル付きデータとラベルなしデータの比率が、両手法を組み合わせた際の相対的性能向上にどのように影響するか？

主な発見

• wav2vec 2.0事前学習と自己学習を組み合わせることで、10分間のラベル付きデータと53,000時間のラベルなしLibriVoxデータを用いて、LibriSpeechのcleanおよびotherテストセットでそれぞれ3.0%/5.2%のWERを達成し、事前学習のみと比較して相対的に25%および40%のWER低減を実現した。
• 推論時に言語モデルを使用しなくても、自己学習モデルは10分間設定で3.7%/6.5%のWERを達成しており、偽ラベル付けに使用された言語モデルが音声モデルに効果的に蒸留されていることが示された。
• 960時間のラベル付きデータをすべて使用した場合、組み合わせ手法は1.5%/3.1%のWERを達成し、1年前に960時間のラベル付きデータで学習された最先端のシステムと同等またはそれを上回った。
• 両手法を組み合わせた際の相対的改善は、主にラベルなしデータとラベル付きデータの比率に起因しており、絶対的なラベル付きデータ量ではなく、比率が一定であれば異なるラベル付きデータスケールでも一貫した相対的向上が得られた。
• 偽ラベル付きデータ上で完全から学習したseq2seqモデルは、CTC微調整モデルを上回る性能を発揮した。これは、複雑なデコーダーが偽ラベル付きデータをより効果的に活用でき、言語モデルの知識をよりよく蒸留できることを示唆している。
• 事前学習済みwav2vec 2.0モデルを偽ラベル付きデータで微調整すると、完全から学習する場合に比べて性能が低くなった。これは、事前学習済み表現が偽ラベル付きデータの分布に最適でない可能性を示しており、完全から学習することで偽ラベル付きデータに適応しやすくなっていると考えられる。