[论文解读] Blending LSTMs into CNNs

Krzysztof J. Geras, Abdelrahman Mohamed+7 more|arXiv (Cornell University)|Nov 19, 2015

Speech Recognition and Synthesis参考文献 34被引用 7

一句话总结

本文提出了一种名为“模型融合”的新方法——一种知识蒸馏的创新应用，其中一个深度卷积神经网络（CNN）被训练以模仿一个长短期记忆网络（LSTM）教师模型，从而结合LSTM在长序列建模方面的优势与CNN在计算效率上的优势。该方法在Switchboard数据集上实现了14.1%的最先进词错误率（WER），通过融合LSTM的软标签与硬标签，优于单独的模型和集成模型，即使仅使用教师输出中概率最高的0.3%的预测结果，也能实现优异性能。

ABSTRACT

We consider whether deep convolutional networks (CNNs) can represent decision functions with similar accuracy as recurrent networks such as LSTMs. First, we show that a deep CNN with an architecture inspired by the models recently introduced in image recognition can yield better accuracy than previous convolutional and LSTM networks on the standard 309h Switchboard automatic speech recognition task. Then we show that even more accurate CNNs can be trained under the guidance of LSTMs using a variant of model compression, which we call model blending because the teacher and student models are similar in complexity but different in inductive bias. Blending further improves the accuracy of our CNN, yielding a computationally efficient model of accuracy higher than any of the other individual models. Examining the effect of "dark knowledge" in this model compression task, we find that less than 1% of the highest probability labels are needed for accurate model compression.

研究动机与目标

• 探究深度CNN是否能在自动语音识别任务中达到或超越LSTM的性能。
• 探索在教师与学生模型复杂度相近但归纳偏置不同的情况下，模型压缩的有效性。
• 通过一种新颖的融合技术，利用LSTM的知识来提升CNN在语音识别中的表现。
• 评估在低样本标签设置下，'暗知识'在模型压缩中的有效性。

提出的方法

• 在Switchboard数据集上训练一种受视觉模型启发的深度CNN架构，其准确率优于以往的CNN和LSTM模型。
• 采用一种知识蒸馏的变体——称为“模型融合”，其中CNN学生模型从LSTM教师模型生成的软标签（logits或概率）中学习。
• 训练目标结合了硬标签的交叉熵损失与蒸馏损失，后者旨在最小化教师与学生预测之间的交叉熵。
• 该方法使用一个超参数λ来平衡训练目标中硬标签与软标签的贡献。
• 通过改变从教师模型中保留的最高类别预测数量（C），评估有效蒸馏所需的最少信息量。
• 还探索了一种子教学变体，即一个CNN模型指导另一个同架构的CNN模型，以证明该方法的通用性。

实验结果

研究问题

• RQ1 具有视觉启发架构的深度CNN是否能在Switchboard语音识别任务中超越LSTM？
• RQ2 当教师与学生模型大小和复杂度相近时，模型压缩是否依然有效，而非仅在学生模型显著小于教师模型时？
• RQ3 教师模型输出（即软标签）的多少部分是实现有效知识迁移所必需的？
• RQ4 即使没有不同的归纳偏置，一个CNN是否也能通过模仿另一个同架构的CNN来获得性能提升？

主要发现

• 所提出的CNN模型在Switchboard数据集上实现了14.1%的词错误率（WER），优于单独的LSTM和CNN模型。
• 使用LSTM教师模型进行模型融合后，WER降低至14.1%，低于任何单一模型，包括集成模型。
• 在蒸馏过程中，仅需教师模型输出中概率最高的0.3%的标签（约每300个样本中保留1个）即可实现接近最优的性能。
• 当使用的标签过少时，性能显著下降，表明‘暗知识’对于有效蒸馏至关重要。
• 一个模仿另一个同架构CNN的CNN学生模型（自教学）达到了34.61%的FAR和14.1%的WER，证明了融合方法即使在相同架构内也能提升模型性能。
• 融合后的CNN模型在推理阶段的计算效率比等效的CNN与LSTM集成模型高出6.8倍。