[论文解读] Knowledge Transfer Pre-training

Zhiyuan Tang, Dong Wang+2 more|arXiv (Cornell University)|Jun 7, 2015

Topic Modeling参考文献 21被引用 14

一句话总结

本文提出知识蒸馏预训练方法，利用更简单的教师模型通过软标签指导复杂学生模型（如RNN）的训练，从而在无需分层架构的情况下实现有效的预训练。该方法在性能上可与传统分层预训练相媲美甚至更优，尤其在结合RBM预训练时表现更佳，即使教师模型能力较弱也能有效引导学生模型的预训练。

ABSTRACT

Pre-training is crucial for learning deep neural networks. Most of existing pre-training methods train simple models (e.g., restricted Boltzmann machines) and then stack them layer by layer to form the deep structure. This layer-wise pre-training has found strong theoretical foundation and broad empirical support. However, it is not easy to employ such method to pre-train models without a clear multi-layer structure,e.g., recurrent neural networks (RNNs). This paper presents a new pre-training approach based on knowledge transfer learning. In contrast to the layer-wise approach which trains model components incrementally, the new approach trains the entire model as a whole but with an easier objective function. This is achieved by utilizing soft targets produced by a prior trained model (teacher model). Compared to the conventional layer-wise methods, this new method does not care about the model structure, so can be used to pre-train very complex models. Experiments on a speech recognition task demonstrated that with this approach, complex RNNs can be well trained with a weaker deep neural network (DNN) model. Furthermore, the new method can be combined with conventional layer-wise pre-training to deliver additional gains.

研究动机与目标

• 为解决分层预训练的局限性，即无法应用于缺乏清晰层次结构的模型（如RNN）
• 开发一种不依赖模型架构的通用预训练方法，以实现对复杂深度网络的有效初始化
• 探究弱教师模型是否可通过知识蒸馏有效指导更复杂的深层学生模型的预训练
• 评估知识蒸馏预训练在语音识别任务中与RBM和分层判别式预训练等成熟方法的性能对比
• 探索知识蒸馏预训练与传统无监督预训练（如RBM）的互补性，以进一步提升性能

提出的方法

• 该方法使用预训练的、更简单的教师模型（如浅层DNN）为训练数据生成软标签（logits）
• 利用这些软标签作为监督信号，以有监督方式预训练更深、更复杂的学⽣模型（如RNN或深层DNN）
• 学生模型通过蒸馏损失学习匹配教师模型的输出分布，从而实现知识迁移
• 预训练完成后，重新初始化学生模型的分类层，以支持有效的微调
• 由于采用端到端、全网络训练策略，该方法适用于任何模型架构，包括具有循环连接或跳跃连接的模型
• 该方法可与其它预训练技术（如基于RBM的无监督预训练）结合，以进一步提升性能

实验结果

研究问题

• RQ1 知识蒸馏预训练能否有效初始化缺乏清晰分层结构的复杂神经网络（如RNN）？
• RQ2 即使教师模型能力较弱（如单层DNN），是否仍能为深层学生模型提供有效指导？
• RQ3 知识蒸馏预训练在性能上与成熟的分层预训练方法（如RBM和判别式分层预训练）相比如何？
• RQ4 知识蒸馏预训练能否与其它预训练方法结合，以获得额外性能增益？
• RQ5 知识蒸馏方法是否具有通用性，可广泛适用于不同模型架构和任务，特别是在序列建模中？

主要发现

• 使用4隐藏层DNN作为教师模型时，知识蒸馏预训练在ASR任务上达到11.43%的词错误率（WER），与基于RBM的方法（11.42% WER）相当
• 即使使用能力较弱的单层DNN作为教师模型，该方法仍达到11.65%的WER，表明教师模型无需高度准确即可有效引导
• 在本实验中，分层判别式预训练方法改进有限，表明其在某些设置下可能不如知识蒸馏有效
• 将RBM预训练与知识蒸馏预训练结合可获得最佳性能（11.13% WER），证实二者具有互补性
• 该方法成功利用更简单的DNN作为教师模型对RNN模型进行了预训练，克服了传统分层预训练在循环架构上的局限性
• 结果表明，知识蒸馏预训练是一种鲁棒且与架构无关的方法，可有效初始化复杂模型