[论文解读] Continual-wav2vec2: an Application of Continual Learning for Self-Supervised Automatic Speech Recognition.

Samuel Kessler, Bethan Thomas+1 more|arXiv (Cornell University)|Jul 26, 2021

Speech Recognition and Synthesis参考文献 46被引用 15

一句话总结

本文提出 Continual-Wav2Vec2，一种持续学习框架，使自监督语音表示模型能够在不遗忘先前语言的情况下学习新语言。通过从先前任务迁移知识，其预训练时间减少了32%，同时在多种语言上保持了高性能。

ABSTRACT

We present a method for continual learning of speech representations for multiple languages using self-supervised learning (SSL) and applying these for automatic speech recognition. There is an abundance of unannotated speech, so creating self-supervised representations from raw audio and finetuning on a small annotated datasets is a promising direction to build speech recognition systems. Wav2vec models perform SSL on raw audio in a pretraining phase and then finetune on a small fraction of annotated data. SSL models have produced state of the art results for ASR. However, these models are very expensive to pretrain with self-supervision. We tackle the problem of learning new language representations continually from audio without forgetting a previous language representation. We use ideas from continual learning to transfer knowledge from a previous task to speed up pretraining a new language task. Our continual-wav2vec2 model can decrease pretraining times by 32% when learning a new language task, and learn this new audio-language representation without forgetting previous language representation.

研究动机与目标

• 解决在添加新语言时，自监督语音模型预训练成本高昂的挑战。
• 实现在不发生灾难性遗忘的前提下，对新语言表示进行持续学习。
• 通过利用先前任务的知识，降低新语言表示预训练的计算成本。
• 在持续学习过程中，保持多种语言的高自动语音识别（ASR）性能。

提出的方法

• 将持续学习技术适配到 Wav2Vec2 的自监督预训练阶段，以实现语音表示学习。
• 从先前学习到的语言表示中迁移知识，以加速新语言的预训练。
• 采用基于回放或知识蒸馏的策略，在新语言预训练期间保持对先前语言的性能。
• 在持续预训练后，使用少量标注数据对模型进行微调，以适应下游 ASR 任务。
• 在原始音频上应用对比预训练目标，以学习跨语言的通用语音表示。
• 通过正则化或经验回放，确保新语言的参数更新不会降低对先前学习语言的性能。

实验结果

研究问题

• RQ1 持续学习技术能否有效应用于语音表示的自监督预训练？
• RQ2 从先前语言迁移的知识在多大程度上可减少新语言的预训练时间？
• RQ3 持续学习是否能防止自监督模型中先前学习语言表示的灾难性遗忘？
• RQ4 与标准预训练相比，持续学习方法在下游 ASR 准确率方面表现如何？

主要发现

• 与标准预训练相比，Continual-Wav2Vec2 在学习新语言时将预训练时间减少了32%。
• 该模型在不发生灾难性遗忘的前提下，保持了对先前学习语言的高性能。
• 持续学习方法实现了对新语言的高效适应，且附加计算成本极低。
• 持续学习后，该方法在多种语言上仍保持了最先进水平的 ASR 性能。