[论文解读] A Closer Look at Knowledge Distillation with Features, Logits, and Gradients

Yen-Chang Hsu, James Smith+3 more|arXiv (Cornell University)|Mar 18, 2022

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出了一种统一的知识蒸馏（KD）框架，通过泰勒展开近似KL散度，系统比较了特征、logits和梯度这三种知识源。研究发现，logits通常是最有效的知识源，而基于梯度加权的特征蒸馏可提升性能，且特征维度是高效KD的关键设计因素。

ABSTRACT

Knowledge distillation (KD) is a substantial strategy for transferring learned knowledge from one neural network model to another. A vast number of methods have been developed for this strategy. While most method designs a more efficient way to facilitate knowledge transfer, less attention has been put on comparing the effect of knowledge sources such as features, logits, and gradients. This work provides a new perspective to motivate a set of knowledge distillation strategies by approximating the classical KL-divergence criteria with different knowledge sources, making a systematic comparison possible in model compression and incremental learning. Our analysis indicates that logits are generally a more efficient knowledge source and suggests that having sufficient feature dimensions is crucial for the model design, providing a practical guideline for effective KD-based transfer learning.

研究动机与目标

• 解决先前KD文献中关于特征、logits和梯度等知识源相对有效性存在的不一致性问题。
• 构建一个统一的数学框架，使在相同优化准则下公平比较不同知识源的蒸馏方法成为可能。
• 研究模型设计，特别是学生网络倒数第二层特征的维度，如何影响不同知识源在KD中的有效性。
• 在两种关键的迁移学习场景中评估所提出的框架：模型压缩和增量学习。

提出的方法

• 本文使用泰勒展开近似KD中的经典KL散度损失，将其表示为教师模型的logits、特征和梯度的形式。
• 推导出一种广义的散度准则，使在单一统一的优化框架下实现logits、特征和梯度的蒸馏成为可能。
• 针对特征蒸馏，引入一种基于梯度的重要性机制，其中特征的重要性由教师模型梯度的大小决定。
• 该方法使用平方误差损失构建蒸馏目标，针对logits和特征，结合基于梯度的加权策略以优先关注信息量更大的特征。
• 该框架被具体实现为三种变体：Logits-SE（logits蒸馏）、Features-SE（普通特征蒸馏）和Weighted H Features-SE（基于梯度加权的特征蒸顿）。
• 实验在模型压缩和增量学习基准上进行，使用CIFAR-10和CIFAR-100等标准数据集，并采用任务增量学习协议。

实验结果

研究问题

• RQ1 在不同学习任务中，哪种知识源——特征、logits或梯度——能带来最有效的知识蒸馏？
• RQ2 学生网络倒数第二层特征的维度如何影响不同知识源的有效性？
• RQ3 能否通过统一的数学框架，在相同优化准则下调和并比较基于不同知识源的蒸馏方法？
• RQ4 与均匀加权相比，基于梯度的特征加权是否能提升基于特征的蒸馏性能？
• RQ5 知识源的相对有效性在不同迁移学习场景（如模型压缩和增量学习）中是否保持一致？

主要发现

• 在模型压缩和增量学习任务中，logits通常是最有效的知识源，其性能优于普通特征蒸馏和基于梯度加权的特征蒸馏。
• 使用教师模型梯度进行加权的特征蒸馏显著优于普通特征蒸馏，在增量学习的S-CIFAR100上实现了15.9%的准确率提升。
• 基于特征的蒸馏效果对倒数第二层特征的维度极为敏感，更高的维度通常带来更好的性能。
• 在增量学习中，表现最佳的方法Logits-SE在S-CIFAR10上达到95.3%的准确率，在S-CIFAR100上达到78.3%，优于所有基线方法，包括EWC和MAS。
• 所提出的框架为比较蒸馏策略提供了稳定且数学基础坚实的依据，解决了先前研究因优化准则不同而产生的不一致性问题。