[论文解读] Knowledge Distillation by On-the-Fly Native Ensemble

Lan Xu, Xiatian Zhu+1 more|arXiv (Cornell University)|Jun 12, 2018

Advanced Neural Network Applications参考文献 19被引用 271

一句话总结

ONE 训练一个单一的多分支网络，从其分支中实时创建教师进行在线蒸馏，在不增加测试时成本的情况下提升泛化能力。

ABSTRACT

Knowledge distillation is effective to train small and generalisable network models for meeting the low-memory and fast running requirements. Existing offline distillation methods rely on a strong pre-trained teacher, which enables favourable knowledge discovery and transfer but requires a complex two-phase training procedure. Online counterparts address this limitation at the price of lacking a highcapacity teacher. In this work, we present an On-the-fly Native Ensemble (ONE) strategy for one-stage online distillation. Specifically, ONE trains only a single multi-branch network while simultaneously establishing a strong teacher on-the- fly to enhance the learning of target network. Extensive evaluations show that ONE improves the generalisation performance a variety of deep neural networks more significantly than alternative methods on four image classification dataset: CIFAR10, CIFAR100, SVHN, and ImageNet, whilst having the computational efficiency advantages.

研究动机与目标

• 在低内存和快速运行约束下，激励具备良好泛化能力的紧凑模型。
• 在训练期间通过构建强大的实时教师，消除对单独预训练教师的需求。
• 在单阶段训练中通过在线蒸馏提升目标网络性能。
• 在标准图像分类基准上展示效率与泛化提升。

提出的方法

• 用共享低层特征的 m 条辅助分支来扩增目标网络。
• 通过门控组件将分支集合成一个实时 ONE 教师。
• 用真实标签的交叉熵损失和来自 ONE 教师的蒸馏损失对每个分支进行训练。
• 对分支和教师计算温度 T 的软目标以引导学习。
• 使用一个闭环知识蒸馏目标，将交叉熵与 KL 散度结合起来，并按 T^2 进行适当缩放。
• 在测试期间，移除辅助分支以恢复原始的单分支模型并保持相同的测试成本；可选地将 ONE 作为集成模型部署（ONE-E）。

实验结果

研究问题

• RQ1 带有实时教师的在线蒸馏是否能提升不同容量网络的泛化能力？
• RQ2 多分支单模型设计是否在性能上优于离线师生蒸馏和在线同侪教学方法？
• RQ3 基于门控的分支集合对教师质量及下游学生学习有何影响？
• RQ4 ONE 如何影响大规模数据上的训练成本、测试成本及可扩展性（如 ImageNet）？

主要发现

• ONE 在多种骨架网络上提升了 CIFAR-10/100、SVHN 和 ImageNet 的泛化能力。
• 较小的模型相对于较大模型从 ONE 获得更大比例的提升。
• 使用 ONE 的训练成本低于离线教师或多网络在线方法，同时达到具有竞争力或更高的准确率。
• ONE 教师从蒸馏中受益，目标模型在训练过程中逐步接近教师的性能。
• 通过门控进行集成（ONE-E）可在对比配置中实现最佳测试性能，并取得有利成本权衡。