[论文解读] MSD: Multi-Self-Distillation Learning via Multi-classifiers within Deep Neural Networks

Yunteng Luan, Hanyu Zhao+2 more|arXiv (Cornell University)|Nov 21, 2019

Anomaly Detection Techniques and Applications参考文献 16被引用 17

一句话总结

本文提出多自蒸馏（MSD），一种训练框架，通过使多个分类器在知识蒸馏中协同学习，提升深度神经网络中多个分类器的准确性。通过应用三种损失函数——监督损失、预测模仿损失和特征模仿损失，MSD在多分类器网络（如MSDNet）和单分类器网络（如ResNet）中均表现出色，后者通过添加早期分支实现，使首个分类器的准确率最高提升8.5%，所有分类器平均提升超过1%。

ABSTRACT

As the development of neural networks, more and more deep neural networks are adopted in various tasks, such as image classification. However, as the huge computational overhead, these networks could not be applied on mobile devices or other low latency scenes. To address this dilemma, multi-classifier convolutional network is proposed to allow faster inference via early classifiers with the corresponding classifiers. These networks utilize sophisticated designing to increase the early classifier accuracy. However, naively training the multi-classifier network could hurt the performance (accuracy) of deep neural networks as early classifiers throughout interfere with the feature generation process. In this paper, we propose a general training framework named multi-self-distillation learning (MSD), which mining knowledge of different classifiers within the same network and increase every classifier accuracy. Our approach can be applied not only to multi-classifier networks, but also modern CNNs (e.g., ResNet Series) augmented with additional side branch classifiers. We use sampling-based branch augmentation technique to transform a single-classifier network into a multi-classifier network. This reduces the gap of capacity between different classifiers, and improves the effectiveness of applying MSD. Our experiments show that MSD improves the accuracy of various networks: enhancing the accuracy of every classifier significantly for existing multi-classifier network (MSDNet), improving vanilla single-classifier networks with internal classifiers with high accuracy, while also improving the final accuracy.

研究动机与目标

• 解决多分类器网络中因早期分类器干扰特征学习而导致的性能下降问题。
• 在单个网络内实现多个分类器之间的知识迁移，无需依赖外部学生模型。
• 提升深度网络中早期和最终分类器的准确率，尤其在资源受限的推理场景中表现更优。
• 通过基于采样的分支增强技术，将单分类器网络扩展为高效的多分类器网络。

提出的方法

• 提出一种多自蒸馏（MSD）框架，其中网络中的所有分类器均作为学生模型，通过知识蒸馏相互学习。
• 使用三种损失函数训练每个分类器：交叉熵损失（监督学习）、预测模仿损失（对齐不同分类器之间的类别后验概率）、特征模仿损失（对齐特征图与最深层分类器的特征）。
• 将特征模仿损失应用于异构分类器（浅层与深层）之间，促进知识迁移并减少对深层网络的偏见。
• 采用基于采样的分支增强方法，在关键组边界处向单分类器网络中插入早期分类器分支，保持容量平衡。
• 通过允许网络在任意早期分类器分支处退出，实现动态推理，从而加快简单样本的推理速度。
• 保持原始网络架构和训练超参数不变，将MSD作为即插即用的训练策略应用。

实验结果

研究问题

• RQ1 内部分类器之间的知识蒸馏是否能提升多分类器网络中所有阶段的准确率？
• RQ2 分类器之间的协作学习是否能减少干扰并提升特征表示质量？
• RQ3 MSD能否有效应用于单分类器网络，以构建高准确率的多分类器推理路径？
• RQ4 与传统自蒸馏和联合训练相比，MSD在准确率和训练效率方面表现如何？
• RQ5 特征模仿损失与预测模仿损失对分类器性能和泛化能力有何影响？

主要发现

• 在CIFAR100上，MSD使MSDNet中每个分类器的准确率平均提升1%以上，首个分类器相比联合训练最高提升1.73%。
• 在ResNet18上，首个分类器使用MSD后准确率达到78.93%，相比朴素训练提升1.84%，相比自蒸馏提升1.08%。
• 在WRN20-8上，首个分类器相比自蒸馏准确率提升8.5%，表明在早期头部分类器上具有显著增益。
• 在所有测试网络（如ResNet18、ResNet50等）中，最终分类器的准确率相比自蒸馏平均提升1%，相比朴素训练提升3.2%。
• 首个分类器与最终分类器之间的准确率差距显著缩小，表明知识迁移更充分，性能更均衡。
• MSD在不增加训练成本或依赖外部模型的前提下实现上述性能提升，是一种即插即用的训练增强方法。