[論文レビュー] Continual-wav2vec2: an Application of Continual Learning for Self-Supervised Automatic Speech Recognition.

Samuel Kessler, Bethan Thomas+1 more|arXiv (Cornell University)|Jul 26, 2021

Speech Recognition and Synthesis参考文献 46被引用数 15

ひとこと要約

本稿では、自己教師あり音声表現モデルが新しい言語を学習する際、以前に学習した言語を忘れないようにする継続的学習フレームワーク、Continual-Wav2Vec2を提案する。過去のタスクからの知識の転送により、pretraining時間を32%短縮しつつ、複数の言語で高い性能を維持する。

ABSTRACT

We present a method for continual learning of speech representations for multiple languages using self-supervised learning (SSL) and applying these for automatic speech recognition. There is an abundance of unannotated speech, so creating self-supervised representations from raw audio and finetuning on a small annotated datasets is a promising direction to build speech recognition systems. Wav2vec models perform SSL on raw audio in a pretraining phase and then finetune on a small fraction of annotated data. SSL models have produced state of the art results for ASR. However, these models are very expensive to pretrain with self-supervision. We tackle the problem of learning new language representations continually from audio without forgetting a previous language representation. We use ideas from continual learning to transfer knowledge from a previous task to speed up pretraining a new language task. Our continual-wav2vec2 model can decrease pretraining times by 32% when learning a new language task, and learn this new audio-language representation without forgetting previous language representation.

研究の動機と目的

• 新しい言語を追加する際の自己教師あり音声モデルのpretrainingコストの高さという課題に対処すること。
• 以前に学習した言語を途切れなく忘れないように、新しい言語表現の継続的学習を可能にすること。
• 過去のタスクからの知識を活用することで、新しい言語表現のpretrainingの計算コストを低減すること。
• 継続的学習中に複数の言語で高い自動音声認識（ASR）性能を維持すること。

提案手法

• Wav2Vec2の自己教師ありpretrainingフェーズに継続的学習技術を適用し、音声表現学習に応用する。
• 以前に学習した言語表現からの知識を転送することで、新しい言語のpretrainingを高速化する。
• リプレイベースまたは知識蒸留戦略を用いて、新しい言語のpretraining中に過去の言語の性能を維持する。
• 継続的pretraining後に少量のアノテート済みデータで微調整することで、下流のASRタスクに適応する。
• 生の音声にコントラスト型pretraining目的関数を適用し、言語を越えて普遍的な音声表現を学習する。
• 正則化または経験再現を用いて、新しい言語のパラメータ更新が以前に学習した言語の性能を低下させないよう保証する。

実験結果

リサーチクエスチョン

• RQ1 継続的学習技術は、音声表現の自己教師ありpretrainingに効果的に適用可能か？
• RQ2 過去の言語からの知識転送は、新しい言語のpretraining時間をどの程度短縮できるか？
• RQ3 継続的学習は、自己教師ありモデルにおける以前に学習した言語表現の崩壊的忘却を防げるか？
• RQ4 下流のASR精度の観点から、継続的学習アプローチは標準的なpretrainingと比べてどの程度優れているか？

主な発見

• Continual-Wav2Vec2は、標準的なpretrainingと比較して、新しい言語を学習する際、pretraining時間を32%短縮する。
• モデルは、崩壊的忘却を起こさずに、以前に学習した言語でも高い性能を維持する。
• 継続的学習アプローチにより、追加の計算コストを最小限に抑えながら、新しい言語への効率的適応が可能になる。
• 継続的学習後も、複数の言語で最先端のASR性能が保持される。