[论文解读] Improved Feature Distillation via Projector Ensemble

Yudong Chen, Sen Wang+4 more|arXiv (Cornell University)|Oct 27, 2022

Industrial Vision Systems and Defect Detection被引用 14

一句话总结

该论文提出一种投影器集成方法，以改进知识蒸馏中的特征蒸馏。实验表明，即使学生与教师的特征维度相同，引入投影器也能减少对教师特征空间的过拟合，并提升学生模型的性能。通过使用不同随机初始化的多个投影器进行集成，该方法增强了特征的泛化能力，并在 ImageNet 和 CIFAR-100 上多种教师-学生组合中实现了当前最优的准确率。

ABSTRACT

In knowledge distillation, previous feature distillation methods mainly focus on the design of loss functions and the selection of the distilled layers, while the effect of the feature projector between the student and the teacher remains under-explored. In this paper, we first discuss a plausible mechanism of the projector with empirical evidence and then propose a new feature distillation method based on a projector ensemble for further performance improvement. We observe that the student network benefits from a projector even if the feature dimensions of the student and the teacher are the same. Training a student backbone without a projector can be considered as a multi-task learning process, namely achieving discriminative feature extraction for classification and feature matching between the student and the teacher for distillation at the same time. We hypothesize and empirically verify that without a projector, the student network tends to overfit the teacher's feature distributions despite having different architecture and weights initialization. This leads to degradation on the quality of the student's deep features that are eventually used in classification. Adding a projector, on the other hand, disentangles the two learning tasks and helps the student network to focus better on the main feature extraction task while still being able to utilize teacher features as a guidance through the projector. Motivated by the positive effect of the projector in feature distillation, we propose an ensemble of projectors to further improve the quality of student features. Experimental results on different datasets with a series of teacher-student pairs illustrate the effectiveness of the proposed method.

研究动机与目标

• 探究为何在学生与教师具有相同特征维度时，添加投影器仍能提升特征蒸馏性能，挑战‘投影器仅在维度不匹配时才需要’的假设。
• 解决学生网络在同时优化分类与与教师特征匹配时出现的过拟合问题。
• 通过引入多个投影器的集成，实现特征变换的多样性，提升泛化能力，从而改善蒸馏性能。
• 提出一种简单而高效的方法，在不增加复杂辅助网络或显著提升训练成本的前提下，超越当前最优的特征蒸馏技术。

提出的方法

• 即使特征维度相同，该方法在学生与教师特征表示之间引入投影器，以解耦分类与特征匹配的目标。
• 通过使用不同随机初始化的多个投影器进行集成，生成多样化的变换特征，利用集成学习原理提升模型鲁棒性。
• 学生网络通过联合损失函数进行训练：包括交叉熵损失（用于分类）和方向对齐损失（用于特征蒸馏）。
• 方向对齐损失通过最小化投影后学生与教师特征之间的角度差异，促进结构相似性，且无需特征维度完全一致。
• 该框架即插即用，仅需添加投影器，无需修改学生或教师网络的架构。
• 该方法在多个数据集和教师-学生组合上进行了评估，包括 ResNet、MobileNet 和 DenseNet 的组合。

实验结果

研究问题

• RQ1 为何在学生与教师具有相同特征维度时，添加投影器仍能提升蒸馏性能？
• RQ2 为何缺少投影器会导致学生模型在教师特征分布上过拟合？其退化机制是什么？
• RQ3 使用不同初始化的投影器集成是否能进一步提升特征泛化能力和蒸馏性能？
• RQ4 与现有最优的特征蒸馏方法相比，所提出的投影器集成在性能和效率上表现如何？
• RQ5 仅使用方向对齐损失的投影器集成是否能在保持高性能的同时降低计算复杂度？

主要发现

• 该方法在 ImageNet 上多个教师-学生组合中实现了当前最优的 top-1 准确率，优于 CRD、SRRL、CID、AFD 和 KR 等方法。
• 在 ResNet34-MobileNet 教师-学生组合中，该方法达到 71.94% 的 top-1 准确率，超过 AFD（71.38%）和 KR（71.61%）的性能。
• 在 ResNet50-MobileNet 组合中，该方法达到 73.16% 的 top-1 准确率，优于 KR 的 72.56% 和 AFD 的 72.56%（尽管 AFD 结果未完全报告，但趋势一致）。
• 训练曲线显示，该方法收敛速度优于其他蒸馏方法，表明其优化动态更优。
• 尽管使用了多个投影器，训练时间（每轮 2,995 秒）和 GPU 显存占用（11,523 MB）与 KD 和 SP 等简单方法相当，计算开销极低。
• 该方法在多种架构（包括以 ResNet34、ResNet50 和 DenseNet201 为教师）上均持续提升性能，展现出广泛的适用性。