[論文レビュー] Self-supervised Learning with Random-projection Quantizer for Speech Recognition

Chung‐Cheng Chiu, James Qin+3 more|arXiv (Cornell University)|Feb 3, 2022

Speech Recognition and Synthesis被引用数 29

ひとこと要約

BEST-RQ は、マスクド音声モデリングのための離散ターゲットを生成する固定のランダム射影量子化器を使用したシンプルな自己教師付き事前学習を導入し、LibriSpeech の WER で競争力を示し、量子化器を学習させずにストリーミング待機時間と多言語結果を改善します。

ABSTRACT

We present a simple and effective self-supervised learning approach for speech recognition. The approach learns a model to predict the masked speech signals, in the form of discrete labels generated with a random-projection quantizer. In particular the quantizer projects speech inputs with a randomly initialized matrix, and does a nearest-neighbor lookup in a randomly-initialized codebook. Neither the matrix nor the codebook is updated during self-supervised learning. Since the random-projection quantizer is not trained and is separated from the speech recognition model, the design makes the approach flexible and is compatible with universal speech recognition architecture. On LibriSpeech our approach achieves similar word-error-rates as previous work using self-supervised learning with non-streaming models, and provides lower word-error-rates and latency than wav2vec 2.0 and w2v-BERT with streaming models. On multilingual tasks the approach also provides significant improvement over wav2vec 2.0 and w2v-BERT.

研究の動機と目的

• 自己教師付き音声学習における量子化を ASR モデルから分離することで複雑さを低減することを動機付ける。
• マスクされた音声予測のための離散ラベルを生成するためにランダム射影量子化器を提案する。
• ストリーミングとノンストリーミングの両方の ASR アーキテクチャとの互換性を示す。
• 表現学習が必ずしも自己教師付き ASR の効果には必要ないことを示す。

提案手法

• 音声特徴を固定の、ランダムに初期化されたコードブックへ射影するためにランダム射影を適用する。
• 入力の一部をマスクし、マスク領域の離散ラベルを予測するように ASR エンコーダを訓練する（BERT 系の事前学習）。
• 事前学習全体を通じて射影行列とコードブックを固定する（表現学習を行わない）。
• 事前学習中は ASR エンコーダの上にソフトマックスヘッドを使用する；ファインチューニングはこのヘッドを除外。
• ノンストリーミングおよびストリーミングの Conformer ベースの ASR モデルと多言語設定で評価。
• コードブックの崩壊を防ぐために入力を平均ゼロ、分散1へ正規化する。

実験結果

リサーチクエスチョン

• RQ1 固定の、ランダムに初期化された量子化器は自己教師付き ASR 前訓練の有効なターゲットを提供できるか。
• RQ2 BEST-RQ はストリーミングとノンストリーミングのアーキテクチャでどう性能が異なるか。
• RQ3 量子化器の品質が ASR の自己教師付き学習性能に与える影響は。
• RQ4 ランダム射影量子化が表現学習アプローチに匹敵する多言語の改善を生み出すか。

主な発見

• BEST-RQ は非ストリーミングモデルに対して、従来の自己教師付き手法と同等の LibriSpeech 結果を達成する。
• BEST-RQ は LibriSpeech においてストリーミングモデルの wav2vec 2.0 および w2v-BERT より低遅延を提供する。
• 多言語タスクにおいて、BEST-RQ は wav2vec 2.0 および w2v-BERT に対して有意な改善を示す。
• 量子化器の品質は、特に十分な事前学習データが利用可能な場合、自己教師付き学習の有効性を厳密に予測しない。
• 量子化器を ASR モデルから分離し、表現学習を避けることは、アーキテクチャ設計と訓練を単純化する。