[论文解读] Densely Guided Knowledge Distillation using Multiple Teacher Assistants

Wonchul Son, Jaemin Na+2 more|arXiv (Cornell University)|Sep 18, 2020

Advanced Neural Network Applications参考文献 41被引用 14

一句话总结

本文提出了一种密集引导知识蒸馏（Densely Guided Knowledge Distillation, DGKD），通过使用多个教师助手来缓解在教师与学生网络之间存在显著容量差距时知识蒸馏中的误差累积问题。通过持续地利用所有先前训练的更高级别教师和原始教师来指导每个较小的教师助手，该方法增强了知识迁移并减少了误差传播。该方法实现了最先进性能，在基于ResNet的模型上，CIFAR-100数据集上的准确率相比TAKD最高提升了5.01%。

ABSTRACT

With the success of deep neural networks, knowledge distillation which guides the learning of a small student network from a large teacher network is being actively studied for model compression and transfer learning. However, few studies have been performed to resolve the poor learning issue of the student network when the student and teacher model sizes significantly differ. In this paper, we propose a densely guided knowledge distillation using multiple teacher assistants that gradually decreases the model size to efficiently bridge the large gap between the teacher and student networks. To stimulate more efficient learning of the student network, we guide each teacher assistant to every other smaller teacher assistants iteratively. Specifically, when teaching a smaller teacher assistant at the next step, the existing larger teacher assistants from the previous step are used as well as the teacher network. Moreover, we design stochastic teaching where, for each mini-batch, a teacher or teacher assistants are randomly dropped. This acts as a regularizer to improve the efficiency of teaching of the student network. Thus, the student can always learn salient distilled knowledge from the multiple sources. We verified the effectiveness of the proposed method for a classification task using CIFAR-10, CIFAR-100, and ImageNet. We also achieved significant performance improvements with various backbone architectures such as ResNet, WideResNet, and VGG.

研究动机与目标

• 解决当学生网络显著小于教师网络时知识蒸馏中的误差累积问题。
• 在教师与学生模型之间存在显著大小差距的场景下，提升知识迁移效率。
• 通过引入随机知识蒸馏，减少学生训练过程中的过拟合。
• 通过使用多个中间教师助手，实现更鲁棒和可扩展的蒸馏路径。

提出的方法

• 该方法采用一系列容量逐步减小的多个教师助手（TAs），从原始教师模型开始。
• 每个TA不仅从上一级TA进行知识蒸馏，还从所有更高级别的TA和原始教师处接收知识，确保密集引导。
• 知识蒸馏通过软标签和中间特征图实现，以同时传递输出概率和内部表征。
• 引入了一种随机教学策略：在每个小批量训练中，随机选择一部分教师和TAs进行知识蒸馏，起到正则化作用。
• 训练过程采用多阶段蒸馏路径：T → A1 → A2 → ... → S，每一步均利用所有先前的教师，以实现更鲁棒的知识迁移。
• 该方法在多种主干网络架构（ResNet、WideResNet、VGG）和数据集（CIFAR-10、CIFAR-100、ImageNet）上进行了评估，展现出良好的泛化性和可扩展性。

实验结果

研究问题

• RQ1 当学生模型远小于教师模型时，多个中间教师助手是否能提升知识蒸馏性能？
• RQ2 与顺序式TA训练相比，从所有更高级别教师和原始教师处进行密集知识蒸馏，是否能更有效地缓解误差累积问题？
• RQ3 通过随机丢弃教师进行的随机知识蒸馏，是否能提升学生训练的泛化能力并减少过拟合？
• RQ4 在不同架构和数据集上，该方法与最先进知识蒸馏方法相比，在准确率和鲁棒性方面表现如何？

主要发现

• 所提出的随机DGKD在使用ResNet-18学生模型时，在ImageNet上达到了92.34%的top-1准确率，优于原始DGKD和TAKD。
• 在CIFAR-100上使用16×2 WideResNet学生模型时，随机DGKD达到了90.54%的准确率，相比TAKD提升了5.01%，相比非随机DGKD提升了1.23%。
• 在CIFAR-10上使用20层ResNet学生模型时，该方法达到了91.23%的准确率，即使在容量差距较大的情况下也表现出强劲性能。
• 在VGG13→VGG8设置中，该方法达到了74.40%的准确率，在最先进方法中排名第二，表明在中等模型差距下也具有优异表现。
• 在所有评估的主干网络架构和数据集上，该方法始终优于基线KD、FitNet、AT、SP、RKD和TAKD。
• 消融实验证实，随机蒸馏策略显著提升了泛化能力，减少了过拟合并增强了学生模型性能。