[论文解读] Does Knowledge Distillation Really Work?

Samuel Stanton, Pavel Izmailov+3 more|arXiv (Cornell University)|Jun 10, 2021

Domain Adaptation and Few-Shot Learning参考文献 43被引用 11

一句话总结

本文研究知识蒸馏是否真正将知识从大型教师模型转移到小型学生网络中，发现尽管学生模型的泛化能力有所提升，但其预测分布对齐的保真度仍出人意料地低。核心问题在于优化困难，而非模型容量或数据质量，因为即使学生模型在接近教师权重的位置初始化，也常常无法收敛到最优解。

ABSTRACT

Knowledge distillation is a popular technique for training a small student network to emulate a larger teacher model, such as an ensemble of networks. We show that while knowledge distillation can improve student generalization, it does not typically work as it is commonly understood: there often remains a surprisingly large discrepancy between the predictive distributions of the teacher and the student, even in cases when the student has the capacity to perfectly match the teacher. We identify difficulties in optimization as a key reason for why the student is unable to match the teacher. We also show how the details of the dataset used for distillation play a role in how closely the student matches the teacher -- and that more closely matching the teacher paradoxically does not always lead to better student generalization.

研究动机与目标

• 探究为何在学生模型泛化能力显著提升的情况下，知识蒸馏仍常无法在教师与学生模型之间实现高预测保真度。
• 确定教师与学生模型预测差异的根源是否在于优化困难、数据质量，或可识别性问题。
• 将蒸馏保真度与泛化能力的概念解耦，表明高准确率并不意味着高保真度。
• 评估数据增强、延长训练和共享初始化等干预措施是否能提升保真度，以及在何种条件下有效。

提出的方法

• 在CIFAR-100上对ResNet-20和ResNet-56架构进行实验，涵盖自蒸馏与集成蒸馏。
• 通过使用GAN生成的样本扩充真实数据，系统评估蒸馏数据集大小的影响，以提升数据质量和覆盖范围。
• 比较不同初始化策略下学生模型的表现，包括随机初始化和使用教师初始权重的初始化。
• 采用预测分布之间的协议率、KL散度以及网络前置激活的中心化核对齐（CKA）来度量保真度。
• 评估训练时长、数据增强（如MixUp）以及优化器选择（如Adam）对保真度和泛化能力的影响。
• 使用多个随机种子（10次试验）估算所有指标的均值与标准差，确保结果的稳健性。

实验结果

研究问题

• RQ1 在现代深度学习设置下，知识蒸馏在教师与学生模型之间实现高预测保真度的程度如何？
• RQ2 即使学生模型容量充足，提升蒸馏数据集的质量或大小是否能带来更高的学生保真度？
• RQ3 教师与学生之间共享权重初始化是否能显著提升蒸馏保真度，还是问题本质上源于优化？
• RQ4 学生无法匹配教师预测的原因是可识别性问题，还是训练过程中次优收敛所致？
• RQ5 学生泛化能力（准确率）与蒸馏保真度（分布对齐）之间存在何种关系？二者是否总是同步提升？

主要发现

• 即使模型容量充足，知识蒸馏仍常无法实现高保真度，表现为教师与学生模型之间预测分布存在显著差异。
• 在自蒸馏中，通过GAN生成样本扩充蒸馏数据集可提升保真度，但导致测试准确率下降，表明优化复杂度与数据质量之间存在权衡。
• 当学生模型在接近教师最终权重的位置初始化时，其会收敛至相同的损失盆地，并实现接近100%的协议率，表明优化问题是保真度低下的根本原因。
• 教师与学生之间共享初始化可略微提升CKA（从77.174提升至77.098），但对功能协议率或预测KL散度无显著改善，表明初始化本身不足以解决问题。
• 尽管采取了MixUp、延长训练和精细数据增强等干预措施，学生模型仍无法匹配教师的预测，证实优化动力学是主要障碍。
• 高学生准确率并不意味着高保真度；事实上，最准确的模型并不总是最忠实于教师的预测分布。