[论文解读] Large-Scale Domain Adaptation via Teacher-Student Learning

Jinyu Li, Michael L. Seltzer+3 more|arXiv (Cornell University)|Aug 17, 2017

Speech Recognition and Synthesis参考文献 27被引用 20

一句话总结

本论文提出了一种基于教师-学生学习的大规模语音识别领域自适应方法，利用未标注的平行数据，其中预训练的源域模型作为教师，为训练目标域学生模型提供后验概率，而无需依赖转录数据。该方法在噪声语音和儿童语音适应场景中均实现了高达44%的相对词错误率降低。

ABSTRACT

High accuracy speech recognition requires a large amount of transcribed data for supervised training. In the absence of such data, domain adaptation of a well-trained acoustic model can be performed, but even here, high accuracy usually requires significant labeled data from the target domain. In this work, we propose an approach to domain adaptation that does not require transcriptions but instead uses a corpus of unlabeled parallel data, consisting of pairs of samples from the source domain of the well-trained model and the desired target domain. To perform adaptation, we employ teacher/student (T/S) learning, in which the posterior probabilities generated by the source-domain model can be used in lieu of labels to train the target-domain model. We evaluate the proposed approach in two scenarios, adapting a clean acoustic model to noisy speech and adapting an adults speech acoustic model to children speech. Significant improvements in accuracy are obtained, with reductions in word error rate of up to 44% over the original source model without the need for transcribed data in the target domain. Moreover, we show that increasing the amount of unlabeled data results in additional model robustness, which is particularly beneficial when using simulated training data in the target-domain.

研究动机与目标

• 为解决语音识别中低资源领域自适应的挑战，即目标域标注数据稀缺或不可用。
• 开发一种可扩展的方法，将预训练良好的源域声学模型适配到目标域，而无需目标域的转录数据。
• 利用未标注的平行数据——源域和目标域样本对——以提升模型的泛化能力和鲁棒性。
• 展示教师-学生学习在领域自适应中的有效性，特别是在使用模拟或噪声目标域数据时。
• 表明增加未标注数据可提升低资源自适应设置下模型的鲁棒性和性能。

提出的方法

• 将源域的预训练声学模型作为教师模型，在未标注的源-目标对数据上生成后验概率。
• 使用教师模型生成的后验输出作为软标签，训练目标域的学生模型，而无需真实转录。
• 采用两阶段训练流程：首先，教师模型在平行的源-目标语音对上生成伪标签；其次，学生模型使用这些伪标签通过知识蒸馏进行训练。
• 通过蒸馏过程隐式实现数据增强和域不变表示学习，以提升泛化能力。
• 利用大规模未标注平行数据，实现在目标域标注数据缺失情况下的有效自适应。
• 使用学生模型预测结果与教师后验输出之间的交叉熵损失进行优化。

实验结果

研究问题

• RQ1 教师-学生学习能否在目标域无转录数据的情况下，有效将预训练声学模型适配到新领域？
• RQ2 随着目标域未标注平行数据量的增加，适配模型的性能如何变化？
• RQ3 当目标域为模拟或噪声环境时，该方法在多大程度上能提升模型鲁棒性？
• RQ4 使用教师生成后验概率的知识蒸馏是否优于仅用有限标注数据的传统微调方法？
• RQ5 该方法能否在多样化的领域偏移场景中泛化，例如从成人语音到儿童语音，或从清晰环境到噪声环境？

主要发现

• 所提方法在噪声语音和儿童语音适应任务中，与原始源域模型相比，相对词错误率最高降低了44%。
• 随着未标注平行数据量的增加，性能持续提升，表明该方法具有良好的可扩展性和鲁棒性。
• 当目标域仅存在有限或无标注数据时，该方法显著优于基线微调方法。
• 利用未标注平行数据，即使在数据分布偏移较大的模拟目标域中，也能实现有效的领域自适应。
• 教师-学生蒸馏框架在无需转录数据的情况下，有效实现了从干净、预训练良好的模型向新领域的知识迁移。
• 结果表明，强教师模型生成的后验概率可作为低资源设置下领域自适应的可靠监督信号。