[论文解读] Developing Far-Field Speaker System Via Teacher-Student Learning

Jinyu Li, Rui Zhao+5 more|arXiv (Cornell University)|Apr 14, 2018

Speech Recognition and Synthesis参考文献 35被引用 6

一句话总结

本论文提出了一种教师-学生（T/S）学习框架，用于开发远场语音识别系统，通过将近距离通话的声学模型（AM）适配至远场条件，并压缩大型关键词检测（KWS）模型以提升设备效率。在无需转录数据的情况下，T/S学习利用未转录的数据，使AM在回放数据和实时数据上的词错误率（WER）分别相对降低了72.60%和57.16%，同时将KWS模型大小压缩27倍而未造成准确率损失。

ABSTRACT

In this study, we develop the keyword spotting (KWS) and acoustic model (AM) components in a far-field speaker system. Specifically, we use teacher-student (T/S) learning to adapt a close-talk well-trained production AM to far-field by using parallel close-talk and simulated far-field data. We also use T/S learning to compress a large-size KWS model into a small-size one to fit the device computational cost. Without the need of transcription, T/S learning well utilizes untranscribed data to boost the model performance in both the AM adaptation and KWS model compression. We further optimize the models with sequence discriminative training and live data to reach the best performance of systems. The adapted AM improved from the baseline by 72.60% and 57.16% relative word error rate reduction on play-back and live test data, respectively. The final KWS model size was reduced by 27 times from a large-size KWS model without losing accuracy.

研究动机与目标

• 在无需转录远场数据的情况下，提升远场语音识别中声学模型（AM）的性能。
• 将大型关键词检测（KWS）模型压缩至适合低算力设备的大小，同时保持准确率。
• 利用未转录的近距离通话和模拟远场数据进行模型适配与压缩。
• 通过序列判别性训练和真实环境测试数据优化模型，以提升实际应用性能。
• 通过自监督知识蒸馏方法，构建可扩展且高效的远场语音识别系统。

提出的方法

• 应用教师-学生学习方法，利用并行的近距离通话和模拟远场数据，将训练良好的近距离通话AM（教师）的知识迁移至远场AM（学生）。
• 在学生模型训练过程中引入未转录的远场数据，以提升鲁棒性，而无需依赖转录文本。
• 通过模仿教师模型生成的软标签，应用知识蒸馏将大型KWS模型压缩为更小的模型。
• 使用序列判别性训练结合真实环境测试数据，对AM和KWS模型进行优化，以增强实际应用性能。
• 使用知识蒸馏目标训练学生模型，使其软标签分布与教师模型保持一致。
• 利用模拟远场数据增强真实环境条件，提升低信噪比环境下的泛化能力。

实验结果

研究问题

• RQ1 教师-学生学习能否在无需转录远场数据的情况下，有效将近距离通话声学模型适配至远场条件？
• RQ2 知识蒸馏在多大程度上可实现对大型KWS模型的压缩，同时保持边缘设备上的准确率？
• RQ3 未转录数据在远场自动语音识别（ASR）和KWS系统中如何提升模型性能？
• RQ4 序列判别性训练与真实环境数据对实际系统性能有何影响？
• RQ5 统一的T/S框架能否同时提升AM的鲁棒性与KWS模型的效率？

主要发现

• 经适配的声学模型在回放测试数据上的词错误率（WER）相比基线模型相对降低了72.60%。
• 在实时测试数据上，适配后的AM实现了57.16%的相对WER降低，展现出强大的实际环境鲁棒性。
• 最终的KWS模型相比原始大型模型压缩了27倍，且未造成任何准确率下降。
• 在T/S学习中使用未转录数据显著提升了AM适配与KWS压缩中的模型泛化能力。
• 结合真实环境数据的序列判别性训练进一步提升了系统性能，尤其在嘈杂的真实环境中表现更优。
• 所提出的T/S框架有效利用了模拟数据和未转录数据，显著降低了对昂贵转录数据的依赖。