[论文解读] Distilling a Powerful Student Model via Online Knowledge Distillation

Shaojie Li, Mingbao Lin+5 more|arXiv (Cornell University)|Mar 26, 2021

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出FFSD，一种新颖的在线知识蒸馏框架，通过融合多个学生模型的特征并应用自蒸馏，提升学生模型性能。该方法引入一种领导者学生架构，结合特征融合与多样性增强策略，在不增加推理成本的前提下，在CIFAR-100和ImageNet上实现了最先进准确率。

ABSTRACT

Existing online knowledge distillation approaches either adopt the student with the best performance or construct an ensemble model for better holistic performance. However, the former strategy ignores other students' information, while the latter increases the computational complexity during deployment. In this paper, we propose a novel method for online knowledge distillation, termed FFSD, which comprises two key components: Feature Fusion and Self-Distillation, towards solving the above problems in a unified framework. Different from previous works, where all students are treated equally, the proposed FFSD splits them into a leader student and a common student set. Then, the feature fusion module converts the concatenation of feature maps from all common students into a fused feature map. The fused representation is used to assist the learning of the leader student. To enable the leader student to absorb more diverse information, we design an enhancement strategy to increase the diversity among students. Besides, a self-distillation module is adopted to convert the feature map of deeper layers into a shallower one. Then, the shallower layers are encouraged to mimic the transformed feature maps of the deeper layers, which helps the students to generalize better. After training, we simply adopt the leader student, which achieves superior performance, over the common students, without increasing the storage or inference cost. Extensive experiments on CIFAR-100 and ImageNet demonstrate the superiority of our FFSD over existing works. The code is available at https://github.com/SJLeo/FFSD.

研究动机与目标

• 解决现有在线知识蒸馏方法忽略大部分学生信息或增加部署复杂性的问题。
• 克服协作学生训练中注意力不一致与知识迁移受限的问题。
• 实现仅选择一个高性能学生模型进行部署，而无需存储或评估多个模型。
• 通过结构化的蒸馏机制提升训练过程中学生模型的泛化能力与特征多样性。

提出的方法

• 引入一个领导者学生与一组普通学生，通过相互学习训练普通学生，以促进知识共享。
• 设计一个特征融合模块，其作用类似于自编码器，将所有普通学生的特征图压缩并融合为一个紧凑且有意义的表示。
• 将融合后的特征图蒸馏到领导者学生中，使其通过普通学生集合的集体知识增强学习能力。
• 应用多样性增强策略，提升学生之间的表征多样性，防止特征图冗余。
• 实现一个自蒸馏模块，将深层特征图转换为浅层表示，使浅层能够模仿深层特征，从而改善注意力一致性。
• 同时使用融合后的特征图与自蒸馏表示训练领导者学生，确保特征学习的鲁棒性与泛化能力。

(a) Traditional Knowledge Distillation

实验结果

研究问题

• RQ1 能否通过统一框架有效利用多个学生模型的信息，在不增加部署成本的前提下提升知识蒸馏性能？
• RQ2 来自多个学生模型的特征融合在多大程度上能提升单个领导者学生的性能？
• RQ3 自蒸馏在多大程度上能改善学生模型的注意力一致性和模型泛化能力？
• RQ4 结合特征融合与自蒸馏是否优于现有在线蒸馏方法？
• RQ5 所提方法能否在保持低推理成本的同时实现最先进准确率？

主要发现

• FFSD在CIFAR-100上使用ResNet-32达到74.85%的top-1准确率，优于DML和ONE等现有方法。
• 移除特征融合模块后准确率降至74.06%，证明其在知识聚合中的关键作用。
• 自蒸馏提升了注意力一致性，可视化特征图显示中层与顶层激活更趋一致。
• 自蒸馏与特征融合的结合实现74.85%的准确率，优于仅对普通学生应用自蒸馏（74.71%）或仅对领导者学生应用自蒸馏（74.04%）的版本。
• FFSD在CIFAR-100上使用WRN-16-2达到75.81%的准确率，优于使用更大教师模型的AT方法（73.71%），且FLOPs与训练时间更少。
• FFSD在CIFAR-100上的训练时间为4.4小时，尽管增加了特征融合与自蒸馏组件，但与其他方法相比仍具可比性。

(b) Mutual Learning