[论文解读] Do Not Blindly Imitate the Teacher: Using Perturbed Loss for Knowledge Distillation

Rongzhi Zhang, Jiaming Shen+5 more|arXiv (Cornell University)|May 8, 2023

Model Reduction and Neural Networks被引用 5

一句话总结

该论文提出PTLoss，一种新颖的知识蒸馏损失函数，通过使用泰勒级数展开对标准KL散度损失进行扰动，从而隐式构建一个更接近真实标签的代理教师模型，提升学生模型的性能。通过系统性地优化扰动系数以最小化与真实标签分布的偏差，该方法在五个数据集上实现了最先进的蒸馏性能。

ABSTRACT

Knowledge distillation is a popular technique to transfer knowledge from large teacher models to a small student model. Typically, the student learns to imitate the teacher by minimizing the KL divergence of its output distribution with the teacher's output distribution. In this work, we argue that such a learning objective is sub-optimal because there exists a discrepancy between the teacher's output distribution and the ground truth label distribution. Therefore, forcing the student to blindly imitate the unreliable teacher output distribution leads to inferior performance. To this end, we propose a novel knowledge distillation objective PTLoss by first representing the vanilla KL-based distillation loss function via a Maclaurin series and then perturbing the leading-order terms in this series. This perturbed loss implicitly transforms the original teacher into a proxy teacher with a distribution closer to the ground truth distribution. We establish the theoretical connection between this "distribution closeness" and the student model generalizability, which enables us to select the PTLoss's perturbation coefficients in a principled way. Extensive experiments on five datasets demonstrate PTLoss can significantly improve the distillation effectiveness for teachers of various scales.

研究动机与目标

• 解决当教师模型输出分布偏离真实标签时知识蒸馏性能不佳的问题。
• 克服标准KL损失的局限性，即盲目迫使学生模型模仿可能存在偏差的教师输出。
• 提出一种系统化的方法，用于选择蒸馏目标中扰动系数，以降低蒸馏风险。
• 从理论和实证两方面证明，对损失函数进行扰动可产生更准确的代理教师分布。
• 证明PTLoss在泛化性能上优于现有技术，如温度缩放和标签平滑。

提出的方法

• 将基于标准KL的蒸馏损失表示为泰勒级数展开形式，以支持解析操作。
• 对泰勒级数的主导项进行扰动，构建一种改进的、更具灵活性的损失函数——PTLoss。
• 将‘代理教师’分布定义为由扰动损失隐式诱导出的输出分布，其比原始教师分布更接近真实标签。
• 通过在验证集上最小化代理教师分布与真实标签分布之间的经验偏差，来优化扰动系数。
• 建立PTLoss与降低蒸馏风险之间的理论联系，证明其具有更优的泛化边界。
• 证明PTLoss可将温度缩放和标签平滑等现有方法作为特例包含在内。

实验结果

研究问题

• RQ1 对标准KL损失函数进行扰动能否生成更准确的代理教师分布，从而降低蒸馏误差？
• RQ2 如何系统性地选择损失函数中的扰动系数，以最小化代理教师分布与真实标签之间的差异？
• RQ3 PTLoss在学生模型泛化性能方面是否优于标准知识蒸馏及现有损失修改技术？
• RQ4 PTLoss为何相比原始KL损失能降低蒸馏风险，其理论依据是什么？
• RQ5 PTLoss能否推广以涵盖其他损失函数，如温度缩放和标签平滑？

主要发现

• PTLoss在五个不同数据集上显著提升了学生模型的准确率，包括ImageNet、CIFAR-100和ANLI，优于标准KL损失和先前的最先进方法。
• 在ANLI基准上，当使用T5-large教师模型时，PTLoss相比标准KL损失实现了2.1%的绝对准确率提升。
• 在CIFAR-100上，PTLoss优于Tf-KD_self等基线方法，尽管后者是专为视觉任务设计的。
• 该方法在不同规模的教师模型上均表现出一致的性能增益，表明其对教师模型容量具有鲁棒性。
• 理论分析证实，PTLoss通过最小化代理教师分布与真实标签分布之间的偏差，降低了蒸馏风险边界。
• 实证验证表明，PTLoss可被解释为温度缩放和标签平滑的推广形式，且对蒸馏目标具有更精细的控制能力。