[论文解读] Learning Student Networks via Feature Embedding

Hanting Chen, Yunhe Wang+3 more|arXiv (Cornell University)|Dec 17, 2018

Advanced Neural Network Applications参考文献 31被引用 6

一句话总结

该论文提出了一种知识蒸馏方法，通过使用保持局部性的损失函数，将教师网络的知识通过特征嵌入传递给学生网络，从而无需引入额外参数。该方法通过在低维特征空间中保持样本间的相互关系，实现了显著降低计算和存储复杂度的同时达到最先进性能。

ABSTRACT

Deep convolutional neural networks have been widely used in numerous applications, but their demanding storage and computational resource requirements prevent their applications on mobile devices. Knowledge distillation aims to optimize a portable student network by taking the knowledge from a well-trained heavy teacher network. Traditional teacher-student based methods used to rely on additional fully-connected layers to bridge intermediate layers of teacher and student networks, which brings in a large number of auxiliary parameters. In contrast, this paper aims to propagate information from teacher to student without introducing new variables which need to be optimized. We regard the teacher-student paradigm from a new perspective of feature embedding. By introducing the locality preserving loss, the student network is encouraged to generate the low-dimensional features which could inherit intrinsic properties of their corresponding high-dimensional features from teacher network. The resulting portable network thus can naturally maintain the performance as that of the teacher network. Theoretical analysis is provided to justify the lower computation complexity of the proposed method. Experiments on benchmark datasets and well-trained networks suggest that the proposed algorithm is superior to state-of-the-art teacher-student learning methods in terms of computational and storage complexity.

研究动机与目标

• 解决依赖额外全连接层进行特征对齐的知识蒸馏方法所带来的高计算和存储成本问题。
• 在将教师网络的高维特征空间中的样本内在关系迁移至低维学生网络时予以保留。
• 开发一种无需参数的知识蒸馏框架，在降低复杂度的同时保持性能。
• 证明通过保持局部性损失进行特征嵌入，可实现高效且高性能的学生网络压缩。

提出的方法

• 该方法将知识蒸馏建模为一个特征嵌入任务，将高维教师特征映射到低维学生特征。
• 引入一种保持局部性的损失函数，以确保样本间的相对关系在嵌入空间中得以保持。
• 损失函数促使学生网络保留教师特征表示中的局部邻域结构。
• 通过直接嵌入对齐中间特征，避免引入辅助参数，从而降低计算和内存开销。
• 理论上证明，该方法的计算复杂度低于使用辅助全连接层的现有方法。
• 学生网络通过标准反向传播进行端到端训练，将保持局部性损失作为正则化项。

实验结果

研究问题

• RQ1 知识蒸馏是否可以在不引入额外参数（如全连接层）的情况下实现？
• RQ2 如何在压缩后的学生网络中保留教师网络特征表示中的内在几何结构？
• RQ3 在特征空间中保持局部邻域关系是否能提升学生网络的泛化能力和性能？
• RQ4 与最先进知识蒸馏技术相比，该方法在准确率、计算效率和内存效率方面表现如何？
• RQ5 中间层选择对所提方法性能的影响是什么？

主要发现

• 在ImageNet上，该方法实现了93.13%的top-5准确率，优于标准反向传播基线（92.18%）和其他最先进方法。
• 在CIFAR-10上，该方法实现了92.89%的top-1准确率，超越了现有的知识蒸馏技术。
• 该方法在知识迁移过程中无需额外参数，而FitNet则需要约5,035M个额外参数。
• 理论分析证实，该方法的计算复杂度低于使用辅助全连接层的方法。
• 实验表明，性能对中间层选择具有鲁棒性，不同层组合之间的准确率变化小于0.2%。
• 使用保持局部性损失训练的学生网络在显著减小模型尺寸和推理成本的同时，仍保持了高性能。