[论文解读] Class Attention Transfer Based Knowledge Distillation

Ziyao Guo, Haonan Yan+2 more|arXiv (Cornell University)|Apr 25, 2023

Advanced Neural Network Applications被引用 5

一句话总结

本文提出了一种基于类别注意力迁移的知识蒸馏方法（CAT-KD），该方法通过将教师模型的类别激活图（CAMs）迁移至学生模型，从而提升学生网络的性能。通过聚焦于可解释的、与类别相关的注意力图，这些图能突出显示图像中具有判别性的区域，CAT-KD在ImageNet和CIFAR基准上实现了最先进（SOTA）的准确率，同时通过在分类过程中显式建模特征重要性，实现了高度可解释性。

ABSTRACT

Previous knowledge distillation methods have shown their impressive performance on model compression tasks, however, it is hard to explain how the knowledge they transferred helps to improve the performance of the student network. In this work, we focus on proposing a knowledge distillation method that has both high interpretability and competitive performance. We first revisit the structure of mainstream CNN models and reveal that possessing the capacity of identifying class discriminative regions of input is critical for CNN to perform classification. Furthermore, we demonstrate that this capacity can be obtained and enhanced by transferring class activation maps. Based on our findings, we propose class attention transfer based knowledge distillation (CAT-KD). Different from previous KD methods, we explore and present several properties of the knowledge transferred by our method, which not only improve the interpretability of CAT-KD but also contribute to a better understanding of CNN. While having high interpretability, CAT-KD achieves state-of-the-art performance on multiple benchmarks. Code is available at: https://github.com/GzyAftermath/CAT-KD.

研究动机与目标

• 为解决现有知识蒸馏方法中可解释性不足的问题，特别是基于logits和特征的方法。
• 探究迁移类别激活图（CAMs）是否能够提升学生模型的性能，并增强对CNN分类机制的理解。
• 开发一种兼具高度可解释性与最先进性能的知识蒸馏框架。
• 证明识别类别判别区域的能力对CNN至关重要，且可通过CAM迁移加以增强。

提出的方法

• 将CNN的最后全连接层转换为1×1卷积层，以在推理过程中实现类别激活图（CAMs）的端到端生成。
• 在训练期间从教师网络中提取CAMs，这些CAMs代表输入图像中对每个类别预测最具相关性的空间区域。
• 对CAMs进行归一化，以去除类别预测分数，仅保留空间注意力线索，确保学生模型学习聚焦于判别性区域。
• 通过最小化学生模型自身CAMs与教师模型归一化CAMs之间的L2损失来训练学生网络，从而鼓励注意力模式的一致性。
• 对学生模型的CAMs应用全局平均池化，以生成最终的分类分数，保持与标准分类流程的兼容性。
• 引入一种蒸馏损失，强调空间注意力的一致性，而非输出logits或特征图，从而提升可解释性与泛化能力。

实验结果

研究问题

• RQ1 迁移类别激活图（CAMs）是否能够提升知识蒸馏中学生网络的性能？
• RQ2 识别类别判别区域的能力在CNN分类中起什么作用？该能力是否可通过知识迁移得到增强？
• RQ3 基于CAM的蒸馏在可解释性方面与传统的logits或特征基蒸馏相比如何？
• RQ4 当使用CAM迁移时，教师网络的准确率是否直接影响学生模型的性能？
• RQ5 CAT-KD在数据效率、训练成本和可迁移性方面与其它知识蒸馏方法相比如何？

主要发现

• 当使用ResNet50作为教师模型、MobileNet作为学生模型时，CAT-KD在ImageNet上实现了72.24%的最先进（SOTA）top-1准确率，优于所有对比方法。
• 在CIFAR-100上，CAT-KD即使仅使用20%的训练数据，仍保持高性能，展现出优于其他KD方法的卓越数据效率。
• 在迁移能力评估中，CAT-KD在线性探测任务中表现最佳（在STL-10上达到74.43%，在Tiny-ImageNet上达到40.73%），表明其具备高度泛化的知识迁移能力。
• 在数据稀缺条件下，CAT-KD表现出最小的性能下降，当训练数据减少至20%时，准确率仅下降1.5%，优于基线方法。
• CAT-KD具有最高的训练效率，其计算成本几乎与logits基方法相当，远低于需要辅助网络的特征基方法。
• 当教师模型性能较弱时，CAT-KD的性能显著下降，证实了所迁移CAM质量对学生模型性能的直接影响。