[论文解读] Incremental Layer-wise Self-Supervised Learning for Efficient Speech Domain Adaptation On Device

Zhouyuan Huo, Dongseong Hwang+6 more|arXiv (Cornell University)|Oct 1, 2021

Speech Recognition and Synthesis参考文献 20被引用 4

一句话总结

本文提出一种增量式分层自监督学习算法，用于高效地在设备端进行语音领域自适应，仅逐层更新一个编码器层，从而大幅降低训练显存占用。该方法在仅使用端到端自监督训练10.3%显存的情况下，相较监督基线模型实现了24.2%的相对WER提升。

ABSTRACT

Streaming end-to-end speech recognition models have been widely applied to mobile devices and show significant improvement in efficiency. These models are typically trained on the server using transcribed speech data. However, the server data distribution can be very different from the data distribution on user devices, which could affect the model performance. There are two main challenges for on device training, limited reliable labels and limited training memory. While self-supervised learning algorithms can mitigate the mismatch between domains using unlabeled data, they are not applicable on mobile devices directly because of the memory constraint. In this paper, we propose an incremental layer-wise self-supervised learning algorithm for efficient speech domain adaptation on mobile devices, in which only one layer is updated at a time. Extensive experimental results demonstrate that the proposed algorithm obtains a Word Error Rate (WER) on the target domain $24.2\%$ better than supervised baseline and costs $89.7\%$ less training memory than the end-to-end self-supervised learning algorithm.

研究动机与目标

• 解决服务器端修剪数据与设备端语音数据之间的领域偏移问题，以提升移动语音识别性能。
• 应对设备端显存受限及缺乏可靠标注数据进行训练的挑战。
• 通过增量式分层更新机制，实现在移动设备上高效进行自监督预训练。
• 在不损失识别准确率的前提下，显著降低训练显存消耗。
• 验证分层自监督学习在低资源、设备端领域自适应场景下的有效性。

提出的方法

• 采用自底向上的增量策略，每次仅更新一个或少数几个编码器层。
• 在选定层上附加自监督损失函数（CPC、Wav2vec2.0、APC），对固定下层不计算梯度。
• 通过截断输入序列控制显存使用，利用自监督损失无需输入与标签对齐的特性。
• 优先对底层进行更长步数的预训练，随后逐步对高层进行预训练，以保障层次化表征学习。
• 采用对比预测编码（CPC）结合未来帧预测与负采样，实现鲁棒的表征学习。
• 在前向传播后丢弃固定层的激活值，以最小化显存占用。

实验结果

研究问题

• RQ1 增量式分层自监督学习是否能在保持识别性能的同时显著降低移动设备上的训练显存占用？
• RQ2 各层预训练步数的分配方式如何影响微调阶段的性能表现？
• RQ3 同时更新多个层与逐层更新相比，对模型准确率和显存使用的影响如何？
• RQ4 在不降低WER的前提下，输入序列截断能在多大程度上减少显存消耗？
• RQ5 与贪婪式分层训练或端到端自监督训练相比，增量式分层训练在WER和显存效率方面表现如何？

主要发现

• 增量式分层（ILW）方法在目标领域相比监督基线模型，实现了24.2%的相对WER降低。
• 与端到端自监督学习相比，ILW将训练显存降低89.7%，在输入长度为100时仅使用759 MB显存。
• 在底层预训练更多步数可显著加快微调阶段的收敛速度，提升整体训练效率。
• 该方法在每步更新1至4层的多种设置下均保持稳定，WER稳定在4.6%。
• 将输入序列截断至100帧（减少85.4%），仅使WER从4.6%略微上升至4.7%，同时显存降至439 MB。
• 基于CPC的ILW方法优于APC与Wav2vec2.0，在目标领域（MF）实现4.6% WER；而APC因在各层均匀应用损失，导致表征崩溃。