[论文解读] Essence Knowledge Distillation for Speech Recognition

Zhenchuan Yang, Chun Zhang+3 more|arXiv (Cornell University)|Jun 26, 2019

Speech Recognition and Synthesis参考文献 23被引用 6

一句话总结

本文提出本质知识蒸馏（Essence Knowledge Distillation, EKD）用于语音识别，仅使用教师模型集成中置信度最高的k个软标签来训练更小的学生模型。令人惊讶的是，学生模型的性能优于单个教师模型及完整集成模型，在Switchboard数据集上实现了SOTA结果，且计算量显著降低，因其聚焦于关键知识，并通过多任务学习将硬标签与之结合。

ABSTRACT

It is well known that a speech recognition system that combines multiple acoustic models trained on the same data significantly outperforms a single-model system. Unfortunately, real time speech recognition using a whole ensemble of models is too computationally expensive. In this paper, we propose to distill the knowledge of essence in an ensemble of models (i.e. the teacher model) to a single model (i.e. the student model) that needs much less computation to deploy. Previously, all the soften outputs of the teacher model are used to optimize the student model. We argue that not all the outputs of the ensemble are necessary to be distilled. Some of the outputs may even contain noisy information that is useless or even harmful to the training of the student model. In addition, we propose to train the student model with a multitask learning approach by utilizing both the soften outputs of the teacher model and the correct hard labels. The proposed method achieves some surprising results on the Switchboard data set. When the student model is trained together with the correct labels and the essence knowledge from the teacher model, it not only significantly outperforms another single model with the same architecture that is trained only with the correct labels, but also consistently outperforms the teacher model that is used to generate the soft labels.

研究动机与目标

• 解决在实时语音识别系统中部署集成声学模型带来的高计算成本问题。
• 通过避免从完整软标签蒸馏中引入的噪声和无关信息，提升学生模型的泛化能力。
• 探究仅蒸馏教师集成模型中最显著知识是否能获得优于完整蒸馏的性能。
• 研究在多任务学习框架中结合硬标签与蒸馏的本质知识的有效性。
• 确定使性能最大化同时计算成本最小化的最优k值。

提出的方法

• 教师模型由两种差异较大的声学模型（TDNN和TDNN-LSTM）融合而成，通过速度扰动数据进行数据增强训练。
• 利用教师模型的Softmax概率识别出置信度最高的k个输出标签，作为蒸馏的“本质知识”。
• 学生模型采用多任务目标进行训练：最小化与真实硬标签的交叉熵损失，以及仅使用教师模型中top-k软标签的蒸馏损失。
• 蒸馏温度T设为1，因为教师模型的输出概率已足够平滑，可实现有效的知识迁移。
• 所有模型使用共享决策树，以确保一致的输出维度（8912个节点），便于直接比较。
• 通过调整k值（1, 5, 10, 20, 50, 1000, 8912）对不同知识选择策略下的性能进行评估。

实验结果

研究问题

• RQ1 仅蒸馏教师集成模型中置信度最高的k个软标签，是否能带来优于完整蒸馏的性能？
• RQ2 在多任务学习设置中，将蒸馏的本质知识与硬标签结合，是否能提升学生模型的泛化能力？
• RQ3 仅使用本质知识训练的小型学生模型，是否能超越原始教师集成模型？
• RQ4 在准确率和训练效率方面，蒸馏的最优k值是多少？
• RQ5 当k过大时，学生模型性能是否下降，表明其对噪声或无关标签产生过拟合？

主要发现

• 在Switchboard子集上，k=5的学生模型在TOTAL集上的词错误率（WER）为16.7%，优于教师模型的17.2%。
• 在完整Switchboard数据集上，k=5的学生模型在TOTAL集上的WER为16.7%，超过教师模型的17.2%。
• 当k=1时，学生模型在完整数据集上的WER为17.1%，略优于教师模型的17.2%。
• 当k增加到1000时，学生模型性能下降，表明过多标签引入了噪声，损害了泛化能力。
• 使用k=5和硬标签联合训练的学生模型，其性能始终优于教师模型以及仅使用硬标签训练的学生模型。
• 该方法在实现Switchboard上SOTA性能的同时，显著降低了模型大小和推理成本。