[論文レビュー] Injecting Text in Self-Supervised Speech Pretraining

Zhehuai Chen, Yu Zhang+4 more|arXiv (Cornell University)|Aug 27, 2021

Speech Recognition and Synthesis参考文献 55被引用数 4

ひとこと要約

本稿では、音声の翻訳なしデータと未発話テキストからの合成音声の両方を同時に事前学習することで、自己教師あり音声表現学習を向上させるtts4pretrainという手法を提案する。TTSによって生成された音声に補助的な系列損失（例：CTC、発音記号、ワードピece）を導入することで、語彙的・発音的情報をモデルに組み込み、LibriSpeechで相対的に10% WERを低減し、わずか100時間のトランスクリプトデータで5,000時間分のトランスクリプトデータに相当する性能を達成する。

ABSTRACT

Self-supervised pretraining for Automated Speech Recognition (ASR) has shown varied degrees of success. In this paper, we propose to jointly learn representations during pretraining from two different modalities: speech and text. The proposed method, tts4pretrain complements the power of contrastive learning in self-supervision with linguistic/lexical representations derived from synthesized speech, effectively learning from untranscribed speech and unspoken text. Lexical learning in the speech encoder is enforced through an additional sequence loss term that is coupled with contrastive loss during pretraining. We demonstrate that this novel pretraining method yields Word Error Rate (WER) reductions of 10% relative on the well-benchmarked, Librispeech task over a state-of-the-art baseline pretrained with wav2vec2.0 only. The proposed method also serves as an effective strategy to compensate for the lack of transcribed speech, effectively matching the performance of 5000 hours of transcribed speech with just 100 hours of transcribed speech on the AMI meeting transcription task. Finally, we demonstrate WER reductions of up to 15% on an in-house Voice Search task over traditional pretraining. Incorporating text into encoder pretraining is complimentary to rescoring with a larger or in-domain language model, resulting in additional 6% relative reduction in WER.

研究の動機と目的

• トランスクリプトなしデータでは言語的・発音的構造を捉えることができない自己教師あり音声事前学習の限界を解消すること。
• 未発話テキストを音声合成（TTS）によって利用することで、音声表現学習が向上するかを調査すること。
• 下流のASR微調整に、大規模なトランスクリプト付き音声データへの依存を軽減すること。
• 対照的学習と補助的なASR風の損失を合成音声に適用することの有効性を評価すること。
• 事前学習段階でテキスト情報を組み込む場合、言語モデル統合が依然として補完的であるかを調査すること。

提案手法

• TTSシステムを用いて未発話テキストから音声を生成し、事前学習のための教師ありに似た信号源を提供する。
• 補助的なデコーダーヘッドを、系列レベルの目的関数（例：CTC、RNN-T）を用いて合成音声で訓練し、テキストトークン（ワードピece、発音記号）との整合性を強制する。
• 音声エンコーダーは、実際の音声と合成音声の両方に対して対照的損失を、補助デコーダーに対しては系列損失を同時に最適化する。
• データ拡張（20%の時間／周波数マスキング＋周波数ワープ）は、補助損失に対してのみ合成音声に適用され、対照的損失には適用されない。
• 本手法は、CTC、RNN-T、HATを含むさまざまなASRアーキテクチャーや訓練目的と互換性がある。
• ドメイン適応は、ドメインに合ったテキスト（例：検索クエリ）を用いてTTSデータを生成し、事前学習に使用することで可能になる。

Fig. 1 : Proposed joint speech and text self-supervised pretraining architecture.

実験結果

リサーチクエスチョン

• RQ1 TTSによって生成された音声を介してテキスト情報を組み込むことで、自己教師あり音声表現学習が向上するか？
• RQ2 未発話テキストの量が、低リソースASR環境での性能向上にどのように影響するか？
• RQ3 TTSベースの事前学習と言語モデル統合を組み合わせることで、さらなるWER低減が達成できるか？
• RQ4 補助デコーダーの目的関数の選択（例：CTC対RNN-T）が、学習効率にどのように影響するか？
• RQ5 tts4pretrainは、下流のASR微調整における大規模なトランスクリプト付きデータの必要性を低減できるか？

主な発見

• tts4pretrainは、実際の音声のみで事前学習したwav2vec2.0と比較して、LibriSpeechテストセットで相対的に10% WERを低減した。
• AMIミーティングトランスクリプションタスクでは、トランスクリプト付きデータをわずか100時間で5,000時間分の性能に相当する結果を得た。
• 100万件のTTS生成発話を利用することで、相対的に6.8% WERが低減したが、1億件を超えると利得が減少する傾向を示した。
• CTCベースのデコーダーヘッドが最も高い性能を示し、RNN-Tを上回った。これは、CTCがより優れた整合性特性を有しているためである。
• ドメインに合ったテキスト（例：検索クエリ）を用いてTTS事前学習を行うと、社内音声検索タスクで6.2% WERを達成し、一般的なテキストソースを上回った。
• tts4pretrainと組み合わせた場合、言語モデル統合によりさらに6%相対的なWER低減が達成され、その補完性が確認された。