[论文解读] Channel Distillation: Channel-Wise Attention for Knowledge Distillation

Zaida Zhou, Chaoran Zhuge+2 more|arXiv (Cornell University)|Jun 2, 2020

Advanced Neural Network Applications参考文献 36被引用 40

一句话总结

本论文提出 Channel Distillation (CD)，将通道维注意力从教师模型传递给学生模型；并引入 Guided Knowledge Distillation (GKD)，仅使用正确预测的教师输出进行指导；并应用 Early Decay Teacher (EDT) 策略，在训练过程中逐渐降低蒸馏影响，在 ImageNet 上达到最先进的结果，并在 CIFAR100 上取得显著提升。

ABSTRACT

Knowledge distillation is to transfer the knowledge from the data learned by the teacher network to the student network, so that the student has the advantage of less parameters and less calculations, and the accuracy is close to the teacher. In this paper, we propose a new distillation method, which contains two transfer distillation strategies and a loss decay strategy. The first transfer strategy is based on channel-wise attention, called Channel Distillation (CD). CD transfers the channel information from the teacher to the student. The second is Guided Knowledge Distillation (GKD). Unlike Knowledge Distillation (KD), which allows the student to mimic each sample's prediction distribution of the teacher, GKD only enables the student to mimic the correct output of the teacher. The last part is Early Decay Teacher (EDT). During the training process, we gradually decay the weight of the distillation loss. The purpose is to enable the student to gradually control the optimization rather than the teacher. Our proposed method is evaluated on ImageNet and CIFAR100. On ImageNet, we achieve 27.68% of top-1 error with ResNet18, which outperforms state-of-the-art methods. On CIFAR100, we achieve surprising result that the student outperforms the teacher. Code is available at https://github.com/zhouzaida/channel-distillation.

研究动机与目标

• 通过传递通道维注意力而非原始表示来推动知识蒸馏的改进。
• 提出 Channel Distillation (CD)，将通道注意力从教师传递给学生。
• 引入 Guided Knowledge Distillation (GKD)，仅使用教师正确预测的输出进行引导。
• 结合 Early Decay Teacher (EDT)，在训练过程中渐进地降低蒸馏影响。

提出的方法

• Channel Distillation (CD)：通过对特征图使用基于 w_c 的损失在教师和学生之间对齐通道权重，来传递通道注意力。
• Guided Knowledge Distillation (GKD)：仅对教师正确预测的样本应用 KD 损失，忽略教师预测错误的样本。
• Early Decay Teacher (EDT)：随着训练进行逐渐衰减蒸馏损失权重。
• 损失公式：Loss(s,t) = EDT(alpha)CD(s,t) + GKD(s,t) + CE(s,y).
• 对 KD、FitNets、AT、RKD 等进行消融研究与在 ImageNet (ResNet34→ResNet18) 以及 CIFAR100 (ResNet152→ResNet50) 上的评估。

实验结果

研究问题

• RQ1 通过 CD 进行的通道维注意力传递是否能在学生模型上优于传统 KD？
• RQ2 通过 GKD 将 KD 限制为教师正确预测的输出，是否能降低负迁移？
• RQ3 逐步衰减蒸馏影响是否有助于获得更好的局部最优和最终准确率？
• RQ4 提出的 CD+GKD+EDT 相较于现有蒸馏方法在大规模 (ImageNet) 和小规模 (CIFAR100) 数据集上的表现如何？

主要发现

• 在 ImageNet 上，单独的 CD 在 ResNet18 上的 top-1 错误率优于标准 KD（摘要中报告的 27.68% top-1 错误）。
• CD+GKD 进一步提升至 27.61% top-1 错误和 9.20% top-5 错误。
• CD+GKD+EDT 在 ImageNet 上在所列方法中达到最先进的性能，分别为 27.61% 的 top-1 和 9.20% 的 top-5 错误。
• 在 CIFAR100 上，CD 蒸馏在某些设置下使 ResNet50 学生超过 ResNet152 教师。
• GKD 通过仅结合教师正确预测的知识来减少负迁移。
• EDT 逐渐降低蒸馏权重，使学生能够完善自身的优化。