[论文解读] Distilling Knowledge Using Parallel Data for Far-field Speech Recognition

Jiangyan Yi, Jianhua Tao+2 more|arXiv (Cornell University)|Feb 20, 2018

Speech Recognition and Synthesis参考文献 30被引用 4

一句话总结

本文提出一种基于并行音频数据的知识蒸馏方法，通过使用近讲（教师）模型向远场（学生）模型进行知识迁移，以提升远场语音识别性能。通过最小化学生模型与教师模型输出分布之间的KL散度，该方法在AMI语料库上实现了4.7%的绝对WER降低，显著优于传统训练方法。

ABSTRACT

In order to improve the performance for far-field speech recognition, this paper proposes to distill knowledge from the close-talking model to the far-field model using parallel data. The close-talking model is called the teacher model. The far-field model is called the student model. The student model is trained to imitate the output distributions of the teacher model. This constraint can be realized by minimizing the Kullback-Leibler (KL) divergence between the output distribution of the student model and the teacher model. Experimental results on AMI corpus show that the best student model achieves up to 4.7% absolute word error rate (WER) reduction when compared with the conventionally-trained baseline models.

研究动机与目标

• 提升远场语音识别性能，该性能受噪声和混响环境影响而下降。
• 通过利用并行的近讲和远场录音，解决远场数据有限的挑战。
• 探索知识蒸馏作为一种方法，将高质量近讲数据中的鲁棒性迁移至远场模型。
• 通过将高性能教师模型的知识迁移至学生模型，降低远场自动语音识别（ASR）的词错误率（WER）。
• 展示使用并行数据进行蒸馏的有效性，其中同一说话人的两个语句是同时录制的。

提出的方法

• 在高质量近场音频数据上训练近讲（教师）模型。
• 使用来自相同语句的并行远场录音来训练学生模型。
• 最小化学生模型输出分布与教师模型输出分布之间的Kullback-Leibler（KL）散度。
• 在训练过程中应用知识蒸馏，使学生模型学习模仿教师模型的软标签分布。
• 采用与标准ASR相同的训练目标，但增加蒸馏损失，以使学生预测与教师输出对齐。
• 通过结合真实标签的交叉熵损失与来自教师的KL散度损失，优化学生模型。

实验结果

研究问题

• RQ1 能否通过近讲教师模型的知识蒸馏来提升远场ASR性能？
• RQ2 与非并行数据相比，使用并行近讲和远场数据是否能增强蒸馏的有效性？
• RQ3 蒸馏在多大程度上能降低远场语音识别中的词错误率（WER）？
• RQ4 当两个模型均在相同远场数据上训练时，蒸馏与传统训练相比表现如何？
• RQ5 使用教师模型的软标签对在噪声和混响环境中学生模型的泛化能力有何影响？

主要发现

• 最佳学生模型在AMI语料库上相比传统训练的基线模型，实现了4.7%的绝对WER降低。
• 使用并行数据的知识蒸馏显著提升了学生模型在远场条件下的鲁棒性。
• 该方法有效实现了从高质量近讲教师模型到远场学生模型的知识迁移。
• 学生与教师输出分布之间的KL散度损失是提升泛化能力和性能的关键因素。
• 并行数据的使用使蒸馏更加精确，因为教师与学生模型可在同一语句内容上对齐。
• 结果表明，使用并行数据进行蒸馏是提升远场ASR性能的高效策略，且无需额外的远场数据。