[论文解读] Highlight Every Step: Knowledge Distillation via Collaborative Teaching

Haoran Zhao, Xin Sun+3 more|arXiv (Cornell University)|Jul 23, 2019

Advanced Neural Network Applications被引用 5

一句话总结

本文提出了一种新型知识蒸馏方法——协作教学知识蒸馏（CTKD），通过来自从零开始训练的教师网络和预训练专家教师网络的双重监督，训练一个紧凑的学生网络。从零开始训练的教师网络通过临时logits逐步指导学生网络的优化路径，而专家教师网络则提供注意力图，使学生聚焦于关键特征，从而在CIFAR-10、CIFAR-100、SVHN和Tiny ImageNet上实现最先进性能，相较于基线学生模型最高提升2.94%的准确率。

ABSTRACT

High storage and computational costs obstruct deep neural networks to be deployed on resource-constrained devices. Knowledge distillation aims to train a compact student network by transferring knowledge from a larger pre-trained teacher model. However, most existing methods on knowledge distillation ignore the valuable information among training process associated with training results. In this paper, we provide a new Collaborative Teaching Knowledge Distillation (CTKD) strategy which employs two special teachers. Specifically, one teacher trained from scratch (i.e., scratch teacher) assists the student step by step using its temporary outputs. It forces the student to approach the optimal path towards the final logits with high accuracy. The other pre-trained teacher (i.e., expert teacher) guides the student to focus on a critical region which is more useful for the task. The combination of the knowledge from two special teachers can significantly improve the performance of the student network in knowledge distillation. The results of experiments on CIFAR-10, CIFAR-100, SVHN and Tiny ImageNet datasets verify that the proposed knowledge distillation method is efficient and achieves state-of-the-art performance.

研究动机与目标

• 解决在资源受限设备上训练高性能紧凑学生网络的挑战。
• 不仅利用预训练教师网络的最终知识，还利用从零开始训练教师网络在训练过程中的动态知识。
• 通过结合从零开始训练教师网络的路径引导与专家教师网络的特征注意力，提升学生网络的泛化能力。
• 在多个基准数据集上实现最先进的知识蒸馏性能。

提出的方法

• 从零开始与学生网络并行训练一个从零开始的教师网络，在每个训练步骤中提供临时logits，以引导学生网络的优化路径。
• 一个在相同数据集上预训练的专家教师网络，从中间层提供注意力图，帮助学生聚焦于关键特征。
• 学生网络同时受到两个教师的联合监督：从零开始的教师网络确保优化收敛至高精度logits，而专家教师网络则增强早期层的特征学习。
• 知识蒸馏通过从从零开始教师网络获得的软标签和从专家教师网络获得的注意力图实现，二者被整合进学生网络的损失函数中。
• 该方法与标准训练协议兼容，可与现有压缩技术（如网络量化）结合使用。
• 该方法在CIFAR-10、CIFAR-100、SVHN和Tiny ImageNet上以WRN-40-1作为教师网络、WRN-16-1作为学生网络进行评估。

实验结果

研究问题

• RQ1 从零开始训练的教师网络在训练过程中的动态知识是否能提升学生网络在知识蒸馏中的性能？
• RQ2 将从零开始教师网络的路径引导与专家教师网络的注意力监督相结合，是否能带来更好的学生泛化能力？
• RQ3 在准确率和鲁棒性方面，双教师协作教学与单教师知识蒸馏相比有何差异？
• RQ4 在协作教学框架中，专家教师提供的哪种知识形式（如注意力图）最为有效？

主要发现

• CTKD方法在Tiny ImageNet数据集上达到53.59%的top-1准确率，相较于未使用蒸馏的基线学生模型提升2.94%。
• 在CIFAR-100上，采用CTKD训练的学生网络优于现有最先进方法，在多个基准数据集上均表现出一致的性能提升。
• 专家教师提供的注意力图显著改善了特征学习，尤其是在早期层，增强了学生网络的泛化能力。
• 从零开始教师网络的逐步监督有助于学生避免陷入较差的局部极小值，使其遵循更优的训练轨迹。
• 协作教学策略使学生模型的性能更接近教师模型，优于任何单教师蒸馏方法。
• 该方法具有鲁棒性和泛化能力，在CIFAR-10、CIFAR-100、SVHN和Tiny ImageNet等多样化数据集上均表现出一致的性能提升。