[论文解读] Self-supervised Pre-training Reduces Label Permutation Instability of Speech Separation.

Sung-Feng Huang, Shun-Po Chuang+4 more|arXiv (Cornell University)|Oct 29, 2020

Speech Recognition and Synthesis参考文献 29被引用 7

一句话总结

本文提出使用自监督预训练来稳定多说话人场景下语音分离中的标签排列不稳定性问题，特别是在排列不变训练（PIT）中。通过利用基于语音增强的预训练方法，该方法将训练时间最多减少三分之二，且在包含预训练时间的情况下仍能保持性能，尤其在使用更大批量大小时效果更显著。

ABSTRACT

Speech separation has been well-developed while there are still problems waiting to be solved. The main problem we focus on in this paper is the frequent label permutation switching of permutation invariant training (PIT). For N-speaker separation, there would be N! possible label permutations. How to stably select correct label permutations is a long-standing problem. In this paper, we utilize self-supervised pre-training to stabilize the label permutations. Among several types of self-supervised tasks, speech enhancement based pre-training tasks show significant effectiveness in our experiments. When using off-the-shelf pre-trained models, training duration could be shortened to one-third to two-thirds. Furthermore, even taking pre-training time into account, the entire training process could still be shorter without a performance drop when using a larger batch size.

研究动机与目标

• 为解决多说话人语音分离中排列不变训练（PIT）持续存在的标签排列不稳定性问题。
• 探究自监督预训练是否能稳定在N个说话人分离中N!种可能组合中的正确标签排列选择。
• 在保持或提升模型性能的同时，缩短语音分离的训练时长。
• 评估不同自监督预训练任务的有效性，特别是基于语音增强的方法。

提出的方法

• 在下游分离任务微调前，对语音分离模型应用自监督预训练。
• 采用基于语音增强的预训练任务作为多种自监督目标中最有效的一种。
• 在语音分离任务上使用排列不变训练（PIT）对预训练模型进行微调。
• 利用现成的预训练模型以加速收敛并减少训练时间。
• 在微调过程中使用更大的批量大小，以进一步缩短训练时长，即使包含预训练时间也依然有效。

实验结果

研究问题

• RQ1 自监督预训练能否减少多说话人语音分离中的标签排列不稳定性？
• RQ2 哪种自监督预训练任务在稳定语音分离中的标签排列方面最有效？
• RQ3 预训练能在多大程度上减少语音分离模型的总训练时间？
• RQ4 当训练时间缩短时，预训练是否能保持或提升模型性能？

主要发现

• 自监督预训练，特别是基于语音增强的任务，显著减少了语音分离中的标签排列不稳定性。
• 使用预训练模型后，训练时长可缩短至原始时间的三分之一至三分之二。
• 即使包含预训练时间，使用更大批量大小的总训练过程仍短于基线训练。
• 使用预训练模型和更大批量大小时，模型性能保持不变且无退化。