[论文解读] Distilling Knowledge via Knowledge Review

Pengguang Chen, Shu Liu+2 more|arXiv (Cornell University)|Apr 19, 2021

Advanced Neural Network Applications参考文献 23被引用 11

一句话总结

本文提出了一种名为“知识回顾”（Knowledge Review）的新型知识蒸馏框架，通过利用教师网络的多层级、跨阶段特征来监督学生网络的深层特征，从而提升学生网络的性能。通过引入残差学习框架、基于注意力的特征融合（ABF）以及分层上下文损失（HCL），该方法在图像分类、目标检测和实例分割任务中均取得了最先进（SOTA）的性能，且计算开销极低。

ABSTRACT

Knowledge distillation transfers knowledge from the teacher network to the student one, with the goal of greatly improving the performance of the student network. Previous methods mostly focus on proposing feature transformation and loss functions between the same level's features to improve the effectiveness. We differently study the factor of connection path cross levels between teacher and student networks, and reveal its great importance. For the first time in knowledge distillation, cross-stage connection paths are proposed. Our new review mechanism is effective and structurally simple. Our finally designed nested and compact framework requires negligible computation overhead, and outperforms other methods on a variety of tasks. We apply our method to classification, object detection, and instance segmentation tasks. All of them witness significant student network performance improvement. Code is available at https://github.com/Jia-Research-Lab/ReviewKD

研究动机与目标

• 为解决现有知识蒸馏方法仅在相同网络阶段内传递知识的局限性。
• 探究教师与学生网络之间跨阶段连接在知识蒸馏中的有效性。
• 设计一种简单而高效的框架，通过利用教师网络的低层级特征来指导学生网络的深层特征，从而增强知识迁移。
• 在不增加推理成本的前提下，提升学生网络在多样化视觉任务（包括分类、目标检测和实例分割）中的性能。

提出的方法

• 提出一种“知识回顾”机制，利用教师网络的多个层级特征来监督学生网络的单一层级，实现跨阶段知识迁移。
• 引入残差学习框架以稳定训练过程，并提升知识回顾过程中的特征优化效果。
• 设计基于注意力的特征融合（ABF）模块，以高效聚合各学生层对应的多层级教师特征。
• 采用分层上下文损失（HCL）函数，以在蒸馏过程中保留不同阶段之间的结构与语义上下文信息。
• 使用教师与学生网络的阶段级特征输出，避免逐层特征提取，以保持计算效率。
• 将该框架应用于多种架构与任务，包括ResNets、MobileNet和Mask R-CNN，均取得一致的性能提升。

实验结果

研究问题

• RQ1 能否通过将教师网络的低层级特征跨阶段传递至学生网络的深层，来提升知识蒸馏中学生网络的性能？
• RQ2 为何仅依赖同级监督的现有方法表现欠佳？其面临何种结构性限制？
• RQ3 如何有效融合并利用多层级教师特征来指导单个学生层的训练？
• RQ4 哪些架构组件对于稳定并增强知识回顾过程至关重要？
• RQ5 所提方法是否能在包括分类、检测和实例分割在内的多样化视觉任务中实现良好泛化？

主要发现

• 知识回顾机制在所有评估任务中显著提升了学生网络性能，尤其在使用MobileNetV2进行实例分割时，准确率最高提升达3.19%。
• 利用教师网络的低层级特征来监督学生网络的深层特征，效果优于同级监督；当从教师网络第1阶段蒸馏至学生网络第4阶段时，性能达到最优。
• 消融实验证实，每个组件——回顾机制、残差学习、ABF和HCL——均产生递增的贡献，完整模型在CIFAR-100上的准确率达到76.2%，超过教师网络的75.8%。
• 在ResNet50与ResNet18之间的蒸馏中，该方法将教师与学生网络的性能差距缩小了最高达51%。
• 该框架在图像分类、目标检测和实例分割任务中均实现了最先进性能，且计算开销可忽略不计。
• 分层上下文损失与基于注意力的特征融合对于保留多尺度上下文信息并提升跨阶段特征对齐至关重要。