[论文解读] The State of Knowledge Distillation for Classification

Fabian Ruffy, Karanbir Chahal|arXiv (Cornell University)|Dec 20, 2019

Machine Learning and Data Classification参考文献 22被引用 7

一句话总结

本文评估了图像分类任务中的知识蒸馏（KD）技术，发现经过仔细超参数调优和数据增强的原始KD方法优于复杂的特征蒸馏方法。令人惊讶的是，特征蒸馏方法未能实现泛化，且在不同架构和训练设置下均表现不如基线KD方法。

ABSTRACT

We survey various knowledge distillation (KD) strategies for simple classification tasks and implement a set of techniques that claim state-of-the-art accuracy. Our experiments using standardized model architectures, fixed compute budgets, and consistent training schedules indicate that many of these distillation results are hard to reproduce. This is especially apparent with methods using some form of feature distillation. Further examination reveals a lack of generalizability where these techniques may only succeed for specific architectures and training settings. We observe that appropriately tuned classical distillation in combination with a data augmentation training scheme gives an orthogonal improvement over other techniques. We validate this approach and open-source our code.

研究动机与目标

• 在一致的训练条件下，评估并复现当前最先进的图像分类知识蒸馏技术。
• 评估特征蒸馏方法在不同模型架构和训练设置下的泛化能力。
• 探究数据增强和超参数调优是否能为现有蒸馏技术提供与先进蒸馏方法正交的性能提升。
• 探究为何许多先进的蒸馏方法在受控实验中无法复现报告的性能增益。

提出的方法

• 使用标准化的ResNet架构（ResNet8、ResNet18、ResNet26）并在所有实验中保持固定的计算预算。
• 对所有方法采用一致的训练调度和优化器（Adam），并统一使用一种数据增强方案（MixUp）。
• 实现多种KD变体：原始KD（Hinton）、特征蒸馏（AB-Distillation、Overhaul、TAKD、RKD）以及无监督KD。
• 在标准KD中使用温度缩放和软标签之间的KL散度实现知识迁移。
• 在特征级蒸馏中使用均方误差和KL散度，并进行了广泛的超参数调优。
• 通过多次训练运行验证结果，并在不同教师模型架构之间比较性能。

实验结果

研究问题

• RQ1 在标准化训练条件下，当前最先进的图像分类知识蒸馏方法是否能够可靠复现？
• RQ2 在不同模型架构下，特征蒸馏方法与原始知识蒸馏的性能相比如何？
• RQ3 数据增强和超参数调优在独立于先进蒸馏技术的前提下，能在多大程度上提升蒸馏性能？
• RQ4 为何许多先进的特征蒸馏方法在不同训练设置和模型架构间无法泛化？

主要发现

• 经过适当超参数调优和数据增强（MixUp）的原始知识蒸馏方法在ResNet8学生模型上于CIFAR-10数据集上达到了90.5%的最高准确率。
• 包括AB-Distillation、Overhaul、TAKD和RKD在内的特征蒸馏方法始终表现不如基线KD，准确率下降最高达2%。
• 将教师模型从ResNet18（准确率为95%）切换为ResNet26（准确率为93%）后，学生模型准确率从88.5%提升至90.5%，表明教师模型容量和对齐程度比复杂蒸馏方法更为关键。
• 不同方法之间的性能差距主要源于架构不匹配和对训练设置的敏感性，而非特征蒸馏本身具有内在优势。
• 发现PyTorch中KL散度实现存在一个错误，修复后使KD准确率在所有实验中提升了1%。
• 在无标注训练数据条件下，对STL-10进行无监督知识蒸馏后，在CIFAR-10上实现了83%的准确率，表明未来利用大规模无监督数据具有潜在探索价值。