[論文レビュー] W2v-BERT: Combining Contrastive Learning and Masked Language Modeling for Self-Supervised Speech Pre-Training

Yu-An Chung, Yu Zhang+5 more|arXiv (Cornell University)|Aug 7, 2021

Speech Recognition and Synthesis参考文献 38被引用数 15

ひとこと要約

w2v-BERT は、音声ユニットの離散化のための対照的学習と、得られたトークンにおけるマスク言語モデル化（MLM）を統合的に最適化するエンド・ツー・エンドの自己教師あり音声事前学習フレームワークを提案する。LibriSpeech において最先端の性能を達成し、wav2vec 2.0 や HuBERT よりも相対的に WER を 5–10% 減少させるとともに、コンフォーマー基盤のベースラインと比較してボイスサーチの正確性を 30% 以上向上させた。

ABSTRACT

Motivated by the success of masked language modeling~(MLM) in pre-training natural language processing models, we propose w2v-BERT that explores MLM for self-supervised speech representation learning. w2v-BERT is a framework that combines contrastive learning and MLM, where the former trains the model to discretize input continuous speech signals into a finite set of discriminative speech tokens, and the latter trains the model to learn contextualized speech representations via solving a masked prediction task consuming the discretized tokens. In contrast to existing MLM-based speech pre-training frameworks such as HuBERT, which relies on an iterative re-clustering and re-training process, or vq-wav2vec, which concatenates two separately trained modules, w2v-BERT can be optimized in an end-to-end fashion by solving the two self-supervised tasks~(the contrastive task and MLM) simultaneously. Our experiments show that w2v-BERT achieves competitive results compared to current state-of-the-art pre-trained models on the LibriSpeech benchmarks when using the Libri-Light~60k corpus as the unsupervised data. In particular, when compared to published models such as conformer-based wav2vec~2.0 and HuBERT, our model shows~5\% to~10\% relative WER reduction on the test-clean and test-other subsets. When applied to the Google's Voice Search traffic dataset, w2v-BERT outperforms our internal conformer-based wav2vec~2.0 by more than~30\% relatively.

研究の動機と目的

• 対照的学習とマスク言語モデル化（MLM）を統合的・エンド・ツー・エンドのフレームワークで統合することで、自己教師あり音声表現学習を向上させること。
• vq-wav2vec や DiscreteBERT のような二段階的手法が、表現学習中に離散化器を固定するという限界を克服すること。
• 音声ユニットの発見と文脈表現学習を同時に最適化することで、事前に学習された離散化器に起因する誤差伝搬を回避すること。
• 標準ベンチマーク（LibriSpeech）および実世界の困難な音声データ（Google Voice Search）の両方で、フレームワークの有効性を検証すること。
• 対照的学習と MLM の相乗的相互作用を分析し、特に、効果的なマスク予測を可能にするために対照的学習が必要不可欠であるかを解明すること。

提案手法

• モデルは共有の特徴エンコーダーに続き、対照的学習とマスク言語モデル化（MLM）のための二重のコンフォーマー・ブロックスタックを並列に配置する。
• 対照的モジュールは、対照的目的に基づき、将来のフレームを予測することで、連続的音声を有限個の識別性の高いユニットに離散化する学習を行う。
• MLM モジュールは、文脈からマスクされた離散ユニットを予測する。これは NLP の BERT のマスクトークン予測と同様のものである。
• 両方の目的はエンド・ツー・エンドで同時に最適化され、モデルが離散化と文脈表現の両方を同時に改善できるようにする。
• コードブックを用いて連続表現を離散ユニットにマッピングし、その離散ユニットを MLM タスクのターゲットとして使用する。
• モデルは 60,000 時間分の Libri-Light データで事前学習され、標準のコンフォーマー基盤アーキテクチャを用いて教師あり ASR タスクで微調整される。

Fig. 1 : Illustration of the w2v-BERT pre-training framework. w2v-BERT is composed of a feature encoder, a contrastive module, and a masked language modeling (MLM) module, where the latter two are both a stack of conformer blocks. $N$ and $M$ denote the number of conformer blocks in the two modules,

実験結果

リサーチクエスチョン

• RQ1 対照的学習とマスク言語モデル化の共同最適化は、別々または反復的な学習と比較して、自己教師あり音声表現学習を向上させるか？
• RQ2 対照的モジュールと MLM モジュールのエンド・ツー・エンド学習は、離散化器を固定する二段階手法よりも優れた性能を発揮するか？
• RQ3 対照的モジュールの容量が、MLM モジュールの性能および全体の ASR 精度に与える影響は何か？
• RQ4 w2v-BERT は、標準の対照的学習が困難な実世界のノイズ多きく短い発話（例：ボイスサーチ）に一般化可能か？
• RQ5 対照的学習は、本フレームワーク内での効果的なマスク予測を可能にするために果たす役割は何か？

主な発見

• w2v-BERT は、LibriSpeech の test-clean で 2.3% の WER、test-other で 4.0% の WER を達成し、wav2vec 2.0 や HuBERT よりも相対的に 5–10% の WER 減少を実現した。
• Google Voice Search データセットでは、w2v-BERT XL が WER をベースラインの 10.8 から 6.2 まで低下させ、相対的に 30% 以上の改善を達成した。
• w2v-BERT の性能は、対照的モジュールの深さが増すに従い、8–12 層で最適化され、その後は収益逓減が顕著に現れた。
• 対照的モジュールが深すぎる場合、マスク予測モジュールがボトルネックとなることが示され、両モジュール間の能力バランスの重要性が示された。
• 実証的分析により、対照的学習が効果的なマスク予測を可能にするために不可欠であることが確認され、対照的学習を除去すると MLM の性能が著しく低下した。
• w2v-BERT は、過去の研究で得られた同一ハイパーパrameterを用いても、LibriSpeech のすべてのサブセットで wav2vec 2.0 や w2v-Conformer XL を一貫して上回った。

(a) MLM training loss