[论文解读] Knowledge Distillation: Bad Models Can Be Good Role Models

Gal Kaplun, Eran Malach+2 more|arXiv (Cornell University)|Mar 28, 2022

Machine Learning and Algorithms被引用 6

一句话总结

本文提出，尽管过参数化的神经网络泛化能力较差，但可作为有效的知识蒸馏教师，通过充当标签噪声的条件采样器发挥作用。理论上，从这类‘差’模型进行蒸馏可保证学生网络逼近贝叶斯最优分类器，即使教师模型本身预测性能不佳。

ABSTRACT

Large neural networks trained in the overparameterized regime are able to fit noise to zero train error. Recent work \citep{nakkiran2020distributional} has empirically observed that such networks behave as "conditional samplers" from the noisy distribution. That is, they replicate the noise in the train data to unseen examples. We give a theoretical framework for studying this conditional sampling behavior in the context of learning theory. We relate the notion of such samplers to knowledge distillation, where a student network imitates the outputs of a teacher on unlabeled data. We show that samplers, while being bad classifiers, can be good teachers. Concretely, we prove that distillation from samplers is guaranteed to produce a student which approximates the Bayes optimal classifier. Finally, we show that some common learning algorithms (e.g., Nearest-Neighbours and Kernel Machines) can generate samplers when applied in the overparameterized regime.

研究动机与目标

• 理解为何过参数化模型在完美拟合训练噪声的情况下仍能实现良好泛化。
• 研究作为标签噪声条件采样器的模型的理论性质。
• 探索此类噪声模型是否可作为知识蒸馏中的有效教师。
• 建立理论保证，证明从这些采样器进行蒸馏可得到接近贝叶斯最优的学生模型。

提出的方法

• 对过参数化模型在训练分布中作为标签噪声条件采样器的理论分析。
• 使用未标记数据上的软标签，形式化从此类采样器进行知识蒸馏的过程。
• 证明在弱假设下，从条件采样器进行蒸馏可收敛至贝叶斯最优分类器。
• 识别在过参数化状态下自然生成此类采样器的常见学习算法（例如，K近邻、核机器）。
• 利用分布泛化理论分析这些模型在未见数据上的行为。
• 推导泛化界，表明当学生网络通过从采样器进行蒸馏训练时，其收敛至贝叶斯风险。

实验结果

研究问题

• RQ1 能否在完美拟合噪声训练数据的情况下，使过参数化模型仍作为知识蒸馏中的有效教师？
• RQ2 这些噪声模型在泛化和采样行为方面表现出哪些理论特性？
• RQ3 从此类模型进行知识蒸馏是否能提升学生网络的泛化性能？
• RQ4 哪些标准学习算法在过参数化状态下自然产生条件采样器？
• RQ5 是否存在理论保证，证明从采样器进行蒸馏可得到接近贝叶斯最优分类器的学生模型？

主要发现

• 在噪声数据上训练的过参数化模型表现出条件采样行为，能在未见输入上重现标签噪声。
• 尽管预测准确率较差，此类模型在知识蒸馏中仍为有效教师。
• 从这些采样器进行蒸馏可保证学生网络逼近贝叶斯最优分类器。
• K近邻和核机器等常见算法在过参数化状态下可生成条件采样器。
• 理论分析证实，从采样器进行蒸馏可使学生模型的泛化性能接近贝叶斯风险。