[论文解读] Knowledge Projection for Deep Neural Networks

Zhi Zhang, Guanghan Ning+1 more|arXiv (Cornell University)|Oct 26, 2017

Advanced Neural Network Applications参考文献 41被引用 16

一句话总结

本文提出知识投射网络（KPN），一种通过可学习的投影矩阵，将大型预训练教师网络中的蒸馏知识传递到更轻量化、更快速的学生网络的框架。通过动态、迭代的层选择过程，联合优化知识蒸馏与域自适应，KPN 在小样本数据集上将准确率提升最高达4%，同时将模型复杂度降低4至10倍。

ABSTRACT

While deeper and wider neural networks are actively pushing the performance limits of various computer vision and machine learning tasks, they often require large sets of labeled data for effective training and suffer from extremely high computational complexity. In this paper, we will develop a new framework for training deep neural networks on datasets with limited labeled samples using cross-network knowledge projection which is able to improve the network performance while reducing the overall computational complexity significantly. Specifically, a large pre-trained teacher network is used to observe samples from the training data. A projection matrix is learned to project this teacher-level knowledge and its visual representations from an intermediate layer of the teacher network to an intermediate layer of a thinner and faster student network to guide and regulate its training process. Both the intermediate layers from the teacher network and the injection layers from the student network are adaptively selected during training by evaluating a joint loss function in an iterative manner. This knowledge projection framework allows us to use crucial knowledge learned by large networks to guide the training of thinner student networks, avoiding over-fitting, achieving better network performance, and significantly reducing the complexity. Extensive experimental results on benchmark datasets have demonstrated that our proposed knowledge projection approach outperforms existing methods, improving accuracy by up to 4% while reducing network complexity by 4 to 10 times, which is very attractive for practical applications of deep neural networks.

研究动机与目标

• 解决在标注数据稀缺时深度学习中模型压缩与域自适应的双重挑战。
• 在不依赖大规模标注数据的情况下，提升轻量化、快速学生网络的性能。
• 在训练过程中实现知识蒸馏与域特定自适应的联合优化。
• 在保持或提升小样本数据集上准确率的同时，降低计算复杂度。
• 开发一种模块化、可部署的框架，支持资源受限环境下的实际应用。

提出的方法

• 训练一个可学习的投影矩阵，将预训练教师网络的中间层特征映射到更小的学生网络的对应层。
• 该框架使用结合知识蒸馏与域自适应的联合损失函数，指导学生网络的训练。
• 在训练过程中，通过基于联合损失评估的迭代剪枝，自适应选择教师网络与学生网络的中间层。
• 投影过程以两阶段方式优化：在端到端训练中，先从教师网络提取知识，再将知识注入学生网络。
• 该方法动态识别从教师层 t 到学生层 s 的最优“投影路径”，避免手动选择层。
• 最终推理网络为标准的压缩学生网络，不包含投影组件，从而实现高效部署。

实验结果

研究问题

• RQ1 能否有效将大型预训练教师网络中的知识投射到更小的学生网络中，以提升小样本数据集上的性能？
• RQ2 如何联合优化知识蒸馏与域自适应，以增强学生网络的准确率与效率？
• RQ3 为实现最大性能提升，知识投射的最佳深度与层配置是什么？
• RQ4 在数据稀缺条件下，投影路径的迭代剪枝如何影响模型准确率与鲁棒性？
• RQ5 所提出的框架能否在不牺牲有限标签基准测试准确率的前提下，实现显著的模型压缩？

主要发现

• 所提出的 KPN 框架在标注数据有限的基准数据集上，相比现有蒸馏方法，分类准确率最高提升 4%。
• 该方法将模型复杂度降低 4 至 10 倍，在参数量仅为教师网络 2% 以下的情况下，实现 34 倍的推理速度提升。
• 迭代剪枝成功识别出最优投影路径，其结果与测试准确率高度相关，表明中层特征更适合作为知识传递的媒介。
• 即使在训练数据减少的情况下，该框架仍保持高性能，且投影路径会向更深的层移动，以缓解域适应损失。
• 使用 KPN 训练的学生网络泛化能力更强，尤其在数据稀缺条件下更不易过拟合。
• 模块化设计使其可无缝集成到目标检测、语义分割等其他任务中，显著扩展了其适用范围。