[论文解读] Dynamic Rectification Knowledge Distillation

Fahad Rahman Amik, Ahnaf Ismat Tasin+3 more|arXiv (Cornell University)|Jan 27, 2022

Advanced Neural Network Applications被引用 7

一句话总结

本文提出动态校正知识蒸馏（DR-KD），一种无需教师模型的知识蒸馏框架，通过在蒸馏前使用真实标签对模型输出的错误logits进行校正，使学生网络能够作为其自身的动态教师。DR-KD在Tiny ImageNet上相比基线模型准确率提升2.65%，在CIFAR-100上提升3.28%，优于当前最先进方法，且无需额外训练成本或大型教师模型。

ABSTRACT

Knowledge Distillation is a technique which aims to utilize dark knowledge to compress and transfer information from a vast, well-trained neural network (teacher model) to a smaller, less capable neural network (student model) with improved inference efficiency. This approach of distilling knowledge has gained popularity as a result of the prohibitively complicated nature of such cumbersome models for deployment on edge computing devices. Generally, the teacher models used to teach smaller student models are cumbersome in nature and expensive to train. To eliminate the necessity for a cumbersome teacher model completely, we propose a simple yet effective knowledge distillation framework that we termed Dynamic Rectification Knowledge Distillation (DR-KD). Our method transforms the student into its own teacher, and if the self-teacher makes wrong predictions while distilling information, the error is rectified prior to the knowledge being distilled. Specifically, the teacher targets are dynamically tweaked by the agency of ground-truth while distilling the knowledge gained from traditional training. Our proposed DR-KD performs remarkably well in the absence of a sophisticated cumbersome teacher model and achieves comparable performance to existing state-of-the-art teacher-free knowledge distillation frameworks when implemented by a low-cost dynamic mannered teacher. Our approach is all-encompassing and can be utilized for any deep neural network training that requires categorization or object recognition. DR-KD enhances the test accuracy on Tiny ImageNet by 2.65% over prominent baseline models, which is significantly better than any other knowledge distillation approach while requiring no additional training costs.

研究动机与目标

• 为解决传统知识蒸馏依赖大型预训练教师模型所带来的高计算与训练成本问题。
• 通过使学生网络自作为其教师，消除对复杂且昂贵的教师模型的需求。
• 通过使用真实标签监督动态校正知识蒸馏中的错误知识，提升学生模型性能。
• 开发一种低成本、高效的蒸馏框架，适用于边缘设备和资源受限环境。
• 证明经过校正的训练不佳教师模型，可在知识蒸馏中超越训练良好的教师模型。

提出的方法

• 学生模型自作为其教师，生成的logits在知识蒸馏前通过真实标签进行动态校正。
• 在softmax激活前，使用真实标签的one-hot向量替换学生网络输出的错误logits，确保仅将准确知识进行蒸馏。
• 使用Kullback-Leibler（KLD）散度计算校正后学生（作为教师）与原始学生（作为学生）之间的知识蒸馏，温度为T。
• 最终损失函数结合了教师与学生之间的KLD损失以及使用真实标签的交叉熵损失，支持端到端训练。
• 在学生网络的softmax中引入温度缩放，以稳定蒸馏过程中软标签的学习。
• 该方法兼容任意深度神经网络架构，可应用于图像分类与目标检测任务。

实验结果

研究问题

• RQ1 学生网络是否可通过动态校正错误预测并自作为其教师，实现更优性能？
• RQ2 消除对大型预训练教师模型的需求，是否能提升知识蒸馏的效率与性能？
• RQ3 在蒸馏前使用真实标签校正logits，是否能带来比使用大型教师模型的传统蒸馏更好的泛化性能？
• RQ4 DR-KD在不同数据集与模型架构下，与当前最先进教师自由及教师依赖蒸馏方法相比表现如何？
• RQ5 经过校正的弱训练教师模型，是否能在知识蒸馏中超越高度训练的教师模型？

主要发现

• 在Tiny ImageNet上，DR-KD相较于基线模型在MobileNetV2上实现了2.65%的准确率提升，优于所有对比方法，包括Normal KD与Tf-KD。
• 在CIFAR-100上，当应用于训练不佳的教师模型时，DR-KD性能提升达3.28%，显著优于所有基线方法。
• 在Tiny ImageNet上的MobileNetV2模型中，DR-KD达到57.71%的测试准确率，而基线为55.06%，绝对提升2.65%。
• 在Tiny ImageNet上，校正后的自教师模型（200万参数）优于ResNet18教师模型（1100万参数），在ShuffleNetV2上表现更优，证明了动态校正的有效性。
• DR-KD在所有评估模型——MobileNetV2、ShuffleNetV2、ResNet50与DenseNet121——上，均在CIFAR-100、CIFAR-10与Tiny ImageNet三个数据集上持续提升准确率。
• 该方法不增加额外训练成本，兼容任意深度学习模型，因此在边缘设备部署中极具实用性。