[论文解读] Compressing LSTMs into CNNs.

Krzysztof J. Geras, Abdelrahman Mohamed+7 more|arXiv (Cornell University)|Nov 19, 2015

Speech Recognition and Synthesis被引用 4

一句话总结

本文提出了一种新颖的模型压缩技术——模型融合（model blending），将LSTM压缩为深度卷积神经网络（CNN），其中CNN学生模型在LSTM教师模型的指导下进行训练。该方法在仅使用不到1%的最高概率标签进行有效知识蒸馏的情况下，实现了比独立的LSTM和CNN更高的准确率。

ABSTRACT

We consider whether deep convolutional networks (CNNs) can represent decision functions with similar accuracy as recurrent networks such as LSTMs. First, we show that a deep CNN with an architecture inspired by the models recently introduced in image recognition can yield better accuracy than previous convolutional and LSTM networks on the standard 309h Switchboard automatic speech recognition task. Then we show that even more accurate CNNs can be trained under the guidance of LSTMs using a variant of model compression, which we call model blending because the teacher and student models are similar in complexity but different in inductive bias. Blending further improves the accuracy of our CNN, yielding a computationally efficient model of accuracy higher than any of the other individual models. Examining the effect of dark knowledge in this model compression task, we find that less than 1% of the highest probability labels are needed for accurate model compression.

研究动机与目标

• 探究深度CNN是否能在自动语音识别等序列建模任务中达到或超越LSTM的性能。
• 探索将知识从LSTM迁移至CNN的模型压缩技术，利用二者互补的归纳偏置。
• 评估知识蒸馏在低标签设置下的有效性，特别是仅使用教师模型最高概率预测的情况。

提出的方法

• 针对Switchboard 309h语音识别任务，训练一种受当前最先进图像识别模型启发的深度CNN架构。
• 提出模型融合——一种知识蒸馏的变体，其中CNN学生模型通过LSTM教师模型的软标签进行训练。
• 通过仅使用LSTM教师模型中最高1%概率的预测结果，应用暗知识蒸馏来指导CNN的训练。
• 优化CNN以匹配LSTM的决策函数，同时保持计算效率。
• 采用一种损失函数，使学生模型的输出分布与教师模型对齐，重点关注高置信度预测。

实验结果

研究问题

• RQ1 在Switchboard 309h自动语音识别任务中，深度CNN能否实现比LSTM更高的准确率？
• RQ2 通过LSTM指导训练的CNN（即模型融合）是否能超越单独模型的性能？
• RQ3 当仅使用教师模型极小部分最高概率预测时，知识蒸馏的有效性如何？
• RQ4 LSTM与CNN之间归纳偏置的差异对模型压缩性能有何影响？

主要发现

• 所提出的CNN架构本身在Switchboard 309h ASR任务上优于以往的卷积网络和LSTM模型。
• 使用LSTM教师模型进行模型融合后，CNN的准确率进一步超越了单独模型的性能。
• 仅使用LSTM教师模型中最高1%概率的预测结果，即可实现高度准确的模型压缩。
• 所得CNN模型在保持计算高效的同时，达到了最先进（state-of-the-art）的准确率。