[论文解读] Collaborative Teacher-Student Learning via Multiple Knowledge Transfer

Liyuan Sun, Jianping Gou+3 more|arXiv (Cornell University)|Jan 21, 2021

Advanced Neural Network Applications参考文献 49被引用 7

一句话总结

该论文提出了一种基于多知识迁移的协作式师生学习（CTSL-MKT），这是一种统一框架，通过同时在对等学生网络之间迁移基于响应的知识和基于关系的知识，整合了自蒸馏和在线蒸馏。该方法通过实现双向、协作式学习，显著提升了实例一致性和相关性一致性，从而在图像分类基准上实现了最先进性能，大幅超越了现有知识蒸馏方法。

ABSTRACT

Knowledge distillation (KD), as an efficient and effective model compression technique, has been receiving considerable attention in deep learning. The key to its success is to transfer knowledge from a large teacher network to a small student one. However, most of the existing knowledge distillation methods consider only one type of knowledge learned from either instance features or instance relations via a specific distillation strategy in teacher-student learning. There are few works that explore the idea of transferring different types of knowledge with different distillation strategies in a unified framework. Moreover, the frequently used offline distillation suffers from a limited learning capacity due to the fixed teacher-student architecture. In this paper we propose a collaborative teacher-student learning via multiple knowledge transfer (CTSL-MKT) that prompts both self-learning and collaborative learning. It allows multiple students learn knowledge from both individual instances and instance relations in a collaborative way. While learning from themselves with self-distillation, they can also guide each other via online distillation. The experiments and ablation studies on four image datasets demonstrate that the proposed CTSL-MKT significantly outperforms the state-of-the-art KD methods.

研究动机与目标

• 解决现有知识蒸馏方法依赖单一类型知识和固定师生架构的局限性。
• 克服因教师与学生网络之间容量差距固定而导致的离线蒸馏性能下降问题。
• 实现对等学生网络之间的协作学习，通过多种蒸馏策略同时迁移多种知识类型（基于响应的知识和基于关系的知识）。
• 通过在统一的端到端训练框架中融合自蒸馏与在线蒸馏，提升模型压缩性能。

提出的方法

• 该框架采用对等网络架构，多个学生网络通过在线蒸馏协作学习，实现在它们之间的双向知识迁移。
• 在每个对等网络内部应用自蒸馏，通过从网络自身输出中迁移知识来增强内部一致性并减少过拟合。
• 在线蒸馏在对等网络之间迁移基于响应的知识（如软logits）和基于关系的知识（如特征相关性）。
• 该方法支持多种对等网络架构，可在不同模型尺寸和结构中灵活部署。
• 通过统一损失函数整合多种知识类型，该损失函数结合了基于响应的损失、基于关系的损失以及自蒸馏损失。
• 训练过程为端到端，无需预先训练大型教师网络，从而避免了离线蒸馏中的容量差距问题。

实验结果

研究问题

• RQ1 将自蒸馏与在线蒸馏结合是否能够使知识蒸馏性能超越单一策略方法？
• RQ2 同时迁移多种知识类型（基于响应和基于关系）是否能带来更高的学生模型准确率？
• RQ3 对等网络之间的协作学习如何影响模型的泛化能力和一致性？
• RQ4 自蒸馏在多大程度上缓解了由于对等网络输出多样性导致的性能下降？
• RQ5 所提出的框架是否能在无需预训练大型教师网络的情况下，在多种网络架构上实现卓越性能？

主要发现

• 完整版CTSL-MKT模型在CIFAR-100上使用ResNet18和ResNet34时，实现了77.07%的平均Top-1准确率，达到最高水平。
• 移除自蒸馏（变体B）导致性能下降最大（例如，在CIFAR-100上使用ResNet18和ResNet34时为76.35%），表明其在稳定学习中的关键作用。
• 消融研究证实，同时使用多种蒸馏策略和多种知识类型的方法，始终优于仅使用单一策略或单一知识类型的方法。
• 该框架在四个图像分类数据集上均达到最先进性能，显著优于现有KD方法。
• 该方法在多种对等网络架构（包括ResNet、MobileNetV2、ShuffleNetV2及不同深度变体）上均表现出鲁棒性。
• 性能提升归因于自蒸馏带来的实例一致性改善和在线蒸馏带来的实例相关性一致性提升，二者相互补偿。