[论文解读] Knowledge Distillation with the Reused Teacher Classifier

Defang Chen, Jian-Ping Mei+4 more|arXiv (Cornell University)|Mar 26, 2022

Advanced Neural Network Applications被引用 14

一句话总结

该论文提出 SimKD，一种简单的知识蒸馏方法，通过使用预训练教师模型的分类器进行学生模型推理，同时利用单一 ℓ₂ 损失将学生特征与教师特征对齐。通过添加轻量级投影器解决特征维度不匹配问题，SimKD 在极低压缩成本下实现了最先进性能，在多种架构和设置下均优于先前方法。

ABSTRACT

Knowledge distillation aims to compress a powerful yet cumbersome teacher model into a lightweight student model without much sacrifice of performance. For this purpose, various approaches have been proposed over the past few years, generally with elaborately designed knowledge representations, which in turn increase the difficulty of model development and interpretation. In contrast, we empirically show that a simple knowledge distillation technique is enough to significantly narrow down the teacher-student performance gap. We directly reuse the discriminative classifier from the pre-trained teacher model for student inference and train a student encoder through feature alignment with a single $\ell_2$ loss. In this way, the student model is able to achieve exactly the same performance as the teacher model provided that their extracted features are perfectly aligned. An additional projector is developed to help the student encoder match with the teacher classifier, which renders our technique applicable to various teacher and student architectures. Extensive experiments demonstrate that our technique achieves state-of-the-art results at the modest cost of compression ratio due to the added projector.

研究动机与目标

• 为在知识蒸馏中消除教师与学生模型之间的性能差距，而不依赖复杂的知识表征。
• 通过消除多损失优化和复杂的知识迁移机制，简化知识蒸馏过程。
• 通过轻量级投影器实现在多种学生-教师架构中的通用适用性。
• 证明仅通过单一 ℓ₂ 损失进行特征对齐并重用分类器，即可实现接近教师模型的性能。
• 在多教师和无数据蒸馏等挑战性场景中评估该方法。

提出的方法

• 直接重用预训练教师模型的分类器进行学生模型推理，避免重新训练学生分类器。
• 在分类器前一隐藏层，使用单一 ℓ₂ 损失将学生特征与教师特征对齐。
• 在学生编码器后引入轻量级投影器，以解决学生与教师特征之间的维度不匹配问题。
• 在知识蒸馏过程中仅训练学生编码器和投影器，保持教师分类器冻结。
• 在分类前的最终隐藏层进行特征对齐，以最大化性能相似性。
• 将该方法应用于多种学生-教师架构组合，包括 MobileNet、ShuffleNet 和 ResNet 变体。

实验结果

研究问题

• RQ1 仅使用单一 ℓ₂ 损失进行特征对齐并结合分类器重用，能否有效缩小教师与学生模型之间的性能差距？
• RQ2 若消除复杂知识表征和多损失优化，是否能提升知识蒸馏中的训练稳定性和可解释性？
• RQ3 引入轻量级投影器后，对不同架构的压缩效率和模型性能有何影响？
• RQ4 所提方法是否能泛化至多教师和无数据知识蒸馏设置？
• RQ5 重用更深的教师层时，性能提升与参数成本之间的权衡如何？

主要发现

• 在使用 MobileNetV2x2 和 ResNet-32x4 的 CIFAR-100 数据集上，SimKD 达到 78.08% ± 0.15 的测试准确率，优于所有对比的最先进方法。
• 该方法以小于 3% 的投影器额外参数成本实现最先进性能，且在某些情况下甚至优于原始知识蒸馏的剪枝率。
• 在 'ShuffleNetV2 & ResNet-32x4' 设置下，维度压缩因子 r=8 时，SimKD 达到 77.49% 的准确率，仅次于 SemCKD（77.62%）。
• 使用 t-SNE 的可视化显示，训练后学生与教师的特征几乎无法区分，证实了对齐的有效性。
• 通过重用更深教师层扩展为 SimKD+ 和 SimKD++ 进一部提升了准确率，但显著降低了剪枝率，表明性能与复杂度之间存在权衡。
• 在无数据和多教师设置中，SimKD 表现良好，无需额外训练数据或复杂修改即可保持强性能。