[論文レビュー] Unsupervised Speech Recognition

Alexei Baevski, Wei-Ning Hsu+2 more|arXiv (Cornell University)|May 24, 2021

Speech Recognition and Synthesis参考文献 111被引用数 21

ひとこと要約

本論文は、自己教師ありwav2vec 2.0表現を用いてラベルなし音声をセグメント化し、敵対的訓練によりこれらのセグメントを発音記号にマッピングする、教師なし音声認識のためのフレームワークwav2vec-Uを提案する。TIMITでは11.3%の発音記号誤り率、Librispeech test-otherでは5.9%の単語誤り率を達成し、960時間のラベル付きデータで学習された教師ありシステムと同等の性能を示し、低リソース言語を含む複数の言語で優れた性能を発揮した。

ABSTRACT

Despite rapid progress in the recent past, current speech recognition systems still require labeled training data which limits this technology to a small fraction of the languages spoken around the globe. This paper describes wav2vec-U, short for wav2vec Unsupervised, a method to train speech recognition models without any labeled data. We leverage self-supervised speech representations to segment unlabeled audio and learn a mapping from these representations to phonemes via adversarial training. The right representations are key to the success of our method. Compared to the best previous unsupervised work, wav2vec-U reduces the phoneme error rate on the TIMIT benchmark from 26.1 to 11.3. On the larger English Librispeech benchmark, wav2vec-U achieves a word error rate of 5.9 on test-other, rivaling some of the best published systems trained on 960 hours of labeled data from only two years ago. We also experiment on nine other languages, including low-resource languages such as Kyrgyz, Swahili and Tatar.

研究の動機と目的

• 翻訳済みデータが一切ない状態で動作する音声認識システムの開発。低リソース言語や言語的少数派言語の音声技術の実現を目的とする。
• 大規模なラベル付きデータを必要とする現在のASRシステムの限界を、自己教師あり事前学習と教師なし適応を活用することで克服すること。
• 高品質な自己教師あり表現が、教師なし音声認識の成功に不可欠であることを示すこと。
• ラベル付き開発データにアクセスできない状況でも、モデル開発を支援する教師なしクロスバリデーション指標を導入すること。
• キルギス語、スワヒリ語、タタール語など、低リソース言語を含む多様な言語で手法を評価し、汎化性とスケーラビリティを検証すること。

提案手法

• 方法は、生のラベルなし音声音声から自己教師ありwav2vec 2.0を用いて表現を抽出する。
• 潜在表現に対してk-meansクラスタリングを適用して音声を単位にセグメント化し、その後、平均プーリングとPCAを実行してセグメントレベルの表現を作成する。
• 軽量なジェネレータネットワーク（約9万パラメータ）が、これらのセグメント表現を予測発音記号列にマッピングする。
• ジェネレータと、生成された発音記号列とラベルなしトランスクリプションから得た発音化テキストを区別するディスクラミネータの間で敵対的訓練を実施する。
• 再構成誤差とクラスタリングの一貫性に基づく教師なしバリデーション指標をフレームワークに統合し、ハイパーパramータチューニングとエアリーストッピングを支援する。
• 音声とテキストの両方をラベルなしで使用し、発音化は外部ツールを介して実施する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり音声表現は、翻訳済みデータが一切ない状況でも、効果的な教師なし音声認識を可能にするか？
• RQ2 自己教師あり表現の品質が、教師なしASRシステムの性能にどのように影響するか？
• RQ3 教師あり監視がない状況下で、ジェネレータとディスクラミネータ間の敵対的訓練が発音記号の整合性を向上させるか？
• RQ4 このフレームワークは、低リソース言語や英語以外の言語にどの程度一般化可能か？
• RQ5 ラベル付き開発データが利用できない状況でも、教師なし指標がモデル開発とハイパーパramータ選定を的確に支援できるか？

主な発見

• wav2vec-Uは、TIMITベンチマークの発音記号誤り率（PER）を、従来の最良の教師なし手法の26.1%から11.3%にまで低減し、顕著な改善を示した。
• より大きなLibrispeech test-otherセットでは、単語誤り率（WER）が5.9%に達し、2年前の960時間分のラベル付きデータで学習された教師ありシステムと同等の性能を示した。
• この手法は、キルギス語、スワヒリ語、タタール語など、低リソース言語を含む9か国の言語に一般化可能であり、高リソースな英語を超えた実用性を示した。
• アブレーションスタディの結果、クラスタリング、PCA、マルチステージ平均プーリングが必須の要素であることが確認され、それらを除去すると収束不能となった。
• 768次元のPCAを用いた場合の誤り率は28.0%（PER）に上昇し、256次元の場合は22.3%（PER）にとどまるため、次元削減のチューニングが慎重に行われる必要があることが示された。
• 教師なしクロスバリデーション指標により、効果的なモデル選定とエアリーストッピングが可能となり、768次元PCAのアブレーションでも90%の収束率を達成した。これは、ラベルなしデータでのハイパーパramータチューニングにおいて、この指標の有効性を示している。