[论文解读] Continuous Pseudo-Labeling from the Start

Dan Berrebbi, Ronan Collobert+3 more|arXiv (Cornell University)|Oct 17, 2022

Speech Recognition and Synthesis被引用 6

一句话总结

本文提出在自动语音识别（ASR）训练的最开始阶段即采用连续伪标签方法，消除了对初始有监督预训练阶段的需求。通过基于伪标签之间莱文施泰因距离的动态缓存控制机制，并从完整预测分布中采样，该方法稳定了训练过程，在LibriSpeech和Common Voice数据集上实现了最先进性能，且无需外部语言模型，甚至在低资源设置下也优于先前方法。

ABSTRACT

Self-training (ST), or pseudo-labeling has sparked significant interest in the automatic speech recognition (ASR) community recently because of its success in harnessing unlabeled data. Unlike prior semi-supervised learning approaches that relied on iteratively regenerating pseudo-labels (PLs) from a trained model and using them to train a new model, recent state-of-the-art methods perform `continuous training' where PLs are generated using a very recent version of the model being trained. Nevertheless, these approaches still rely on bootstrapping the ST using an initial supervised learning phase where the model is trained on labeled data alone. We believe this has the potential for over-fitting to the labeled dataset in low resource settings and that ST from the start of training should reduce over-fitting. In this paper we show how we can do this by dynamically controlling the evolution of PLs during the training process in ASR. To the best of our knowledge, this is the first study that shows the feasibility of generating PLs from the very start of the training. We are able to achieve this using two techniques that avoid instabilities which lead to degenerate models that do not generalize. Firstly, we control the evolution of PLs through a curriculum that uses the online changes in PLs to control the membership of the cache of PLs and improve generalization. Secondly, we find that by sampling transcriptions from the predictive distribution, rather than only using the best transcription, we can stabilize training further. With these techniques, our ST models match prior works without an external language model.

研究动机与目标

• 为解决低资源ASR中的过拟合问题，消除自训练中通常采用的初始有监督预训练阶段。
• 实现在训练初始阶段即稳定且有效进行连续伪标签生成，避免早期训练中的不稳定性。
• 通过基于标签演化动态控制伪标签缓存，提升低资源设置下的泛化能力。
• 证明从完整预测分布中采样，而非仅使用最佳转录结果，可增强训练稳定性。
• 在多样数据集（包括Common Voice）上验证该方法，展示其可迁移性与鲁棒性。

提出的方法

• 提出一种动态课程机制，通过测量连续伪标签之间的莱文施泰因距离来控制伪标签缓存，仅保留稳定且持续演化的转录结果。
• 使用模型完整预测分布中的对齐采样，而非贪婪解码，以减少噪声并提升标签质量。
• 采用在线伪标签生成方式，使用非常近期的模型版本，实现无需迭代教师-学生循环的连续训练。
• 采用基于标签一致性与随时间变化情况演化的缓存机制，优先保留可靠且持续演化的预测结果。
• 使用动态批量处理与增大批量大小以稳定训练，尤其在低数据场景下表现更优。
• 该方法可适配不同模型架构与位置编码方式（如正弦位置编码、CAPE），且无需重新调整超参数。

实验结果

研究问题

• RQ1 是否能从训练初始阶段即有效应用连续伪标签方法，而无需初始有监督预训练阶段？
• RQ2 在低资源ASR设置下，如何缓解自训练初期的训练不稳定性？
• RQ3 与仅使用最可能转录结果相比，从完整预测分布中采样是否能提升稳定性与性能？
• RQ4 基于伪标签演化的动态课程机制是否能提升泛化能力并减少过拟合？
• RQ5 所提方法是否可在不同数据集与模型架构间实现泛化，且无需重新调整超参数？

主要发现

• 该方法在LibriSpeech 10h与100h设置下实现了最先进性能，且无需任何预训练，表现与或优于先前方法。
• 在LibriSpeech 10h子集上，模型在dev-clean上达到8.2的WER，在dev-other上达到13.1的WER，优于采用预训练的slimIPL方法。
• 在Common Voice法语数据集的10h低资源设置下，该方法相比slimIPL将WER相对降低18%，在valid集上达到24.6 WER，在test集上达到26.0 WER。
• 即使在10h Libri-Light子集（24名说话人）上，该方法也能稳定训练，而标准的slimIPL在无预训练时会发散。
• 消融实验证明，动态缓存控制与对齐采样对稳定性至关重要，当任一组件被移除时均导致训练发散。
• 该方法可泛化至不同位置编码方式（正弦位置编码、CAPE）与模型架构，且在不同设置间无需调整超参数。