[論文レビュー] UniSpeech at scale: An Empirical Study of Pre-training Method on Large-Scale Speech Recognition Dataset

Chengyi Wang, Yu Wu+5 more|arXiv (Cornell University)|Jul 12, 2021

Speech Recognition and Synthesis参考文献 33被引用数 9

ひとこと要約

本論文は、65,000時間のラベル付き英語米国発音データと155,000時間のラベルなしデータを含む大規模な音声認識データセットにおいて、UniSpeechのマルチタスク事前学習を用いた自己教師あり学習（SSL）の有効性を調査している。マルチタスク事前学習で対照的損失とトランスダーサー損失の両方を用いることで、ドメイン外および発音の異なる音声において顕著な性能向上が得られ、一方でドメイン内データではSSLによる利益が最小限にとどまることが示された。これは、ラベル付きデータが増えるとSSLの利益が減少するという仮定に反する。

ABSTRACT

Recently, there has been a vast interest in self-supervised learning (SSL) where the model is pre-trained on large scale unlabeled data and then fine-tuned on a small labeled dataset. The common wisdom is that SSL helps resource-limited tasks in which only a limited amount of labeled data is available. The benefit of SSL keeps diminishing when the labeled training data amount increases. To our best knowledge, at most a few thousand hours of labeled data was used in the study of SSL. In contrast, the industry usually uses tens of thousands of hours of labeled data to build high-accuracy speech recognition (ASR) systems for resource-rich languages. In this study, we take the challenge to investigate whether and how SSL can improve the ASR accuracy of a state-of-the-art production-scale Transformer-Transducer model, which was built with 65 thousand hours of anonymized labeled EN-US data.

研究の動機と目的

• 大規模なラベル付きデータが利用可能な状況下でも、自己教師あり学習（SSL）が自動音声認識（ASR）性能を向上させるかどうかを調査すること。これは、一般的にSSLの利益がラベル付きデータが増えると減少するという仮定に反する。
• 65K時間の匿名化された英語米国発音データでトレーニングされたプロダクションスケールのASRシステムに対して、UniSpeechのマルチタスク事前学習（対照的損失とトランスダーサー損失の組み合わせ）の有効性を評価すること。
• SSL事前学習が、特にストリーミング（オンライン）ASRシナリオにおいて、ドメイン外および発音の異なる音声に対する耐性を高めるかどうかを評価すること。
• マルチタスク事前学習と対照的損失のみの事前学習を比較し、大規模な設定下での各コンponentの寄与度を特定すること。

提案手法

• 65K時間のラベル付きデータと155K時間のラベルなしデータを含む220K時間の混合コーパスを用いて、対照的損失とトランスダーサー損失の両方を事前学習段階で使用して、Transformer-Transducerモデルを事前学習する。
• 元のwav2vec 2.0フレームワークにおける量子化器を線形投影層に置き換えることで、大規模データでの学習安定性と速度を向上させる。
• ラベル付きデータのみを用いて、ストリーミング形式で微調整し、リアルタイム推論性能を評価する。
• 対照的損失のみで事前学習（トランスダーサー損失を除外）することで、アブレーションスタディを実施し、マルチタスク学習の寄与度を分離する。
• 入力としてfbank特徴量を用い、事前学習段階で対照的損失とトランスダーサー損失の両方を共同最適化する。
• ドメイン内（クリア、16K Hz）およびドメイン外（8K Hz、ノイズあり、発音の異なる）のテストセットを用いて、ドメイン一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 65,000時間のラベル付きデータが利用可能な状況下でも、大規模なラベルなしデータを用いた自己教師あり事前学習が、ASR精度を向上させるのか？
• RQ2 高リソース環境下で、マルチタスク事前学習（対照的損失＋トランスダーサー損失）と対照的損失のみの事前学習とを比較すると、どちらが優れているのか？
• RQ3 多様なドメイン外のラベルなしデータで事前学習をすることで、低リソースまたはドメインシフトしたテストセットでの耐性がどの程度向上するのか？
• RQ4 大規模なラベル付きデータが利用可能な状況下でも、SSL事前学習がストリーミング（オンライン）ASRシステムに有効に機能するのか？

主な発見

• 8K Hzテストセットでは15.17％の相対的WER低減（23.39％ vs. 27.69％のベースライン）を達成し、強力なドメイン一般化性能を示した。
• 16K Hzテストセットでは8.26％の相対的WER低減（17.76％ vs. 19.36％）を達成し、ドメイン外データでも一貫した改善を示した。
• 発音の異なる英語テストセットでは4.08％から7.2％の相対的改善を達成し、特にカナダ発音でない発音で最大の向上を示した。これは発話者変動に対する耐性の高さを示している。
• アブレーションスタディの結果、マルチタスク事前学習を除外した場合、16K Hzテストセットで12.2％、8K Hzテストセットで19.1％の相対的WER増加が生じた。これはマルチタスク学習がドメイン外性能において不可欠であることを証明している。
• 対照的損失のみで事前学習したモデルは、ベースラインよりも性能が悪く、これは大規模なラベル付きデータがある状況下で対照的損失のみの事前学習が、良い初期化を提供できないことを示唆している。
• 微調整段階における検証用トランスダーサー損失は、UniSpeechのモデルがアブレーションモデルよりも顕著に低く、共同事前学習による最適化ダイナミクスの向上を示している。