[论文解读] Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation

Shengcao Cao, Mengtian Li+4 more|arXiv (Cornell University)|Aug 17, 2023

Advanced Neural Network ApplicationsComputer Science被引用 3

一句话总结

本文提出多教师渐进蒸馏（MTPD），一种元层级策略，通过按顺序将多个预训练目标检测器（涵盖卷积神经网络到Transformer架构）的知识逐步迁移至轻量化学生网络。通过从中间教师到更强教师的渐进蒸馏，MTPD弥合了模型架构与容量之间的差距，在MS COCO上实现最先进性能：将ResNet-50 RetinaNet的AP从36.5%提升至42.0%，将Mask R-CNN的AP从38.2%提升至42.5%。

ABSTRACT

Resource-constrained perception systems such as edge computing and vision-for-robotics require vision models to be both accurate and lightweight in computation and memory usage. While knowledge distillation is a proven strategy to enhance the performance of lightweight classification models, its application to structured outputs like object detection and instance segmentation remains a complicated task, due to the variability in outputs and complex internal network modules involved in the distillation process. In this paper, we propose a simple yet surprisingly effective sequential approach to knowledge distillation that progressively transfers the knowledge of a set of teacher detectors to a given lightweight student. To distill knowledge from a highly accurate but complex teacher model, we construct a sequence of teachers to help the student gradually adapt. Our progressive strategy can be easily combined with existing detection distillation mechanisms to consistently maximize student performance in various settings. To the best of our knowledge, we are the first to successfully distill knowledge from Transformer-based teacher detectors to convolution-based students, and unprecedentedly boost the performance of ResNet-50 based RetinaNet from 36.5% to 42.0% AP and Mask R-CNN from 38.2% to 42.5% AP on the MS COCO benchmark.

研究动机与目标

• 解决目标检测中知识蒸馏的挑战，即复杂且可变长度的输出，以及教师与学生模型之间的架构差异导致性能受限。
• 克服轻量化学生与强大复杂教师之间的容量差距，特别是在从基于Transformer的模型向卷积主干网络迁移时。
• 开发一种系统化、自动化的教师模型选择与排序方法，以最大化学生模型性能，避免依赖试错法。
• 实现在异构架构间的有效蒸馏，例如从基于Swin Transformer的检测器向基于ResNet-50的学生网络蒸馏，这是以往方法未能实现的。
• 通过渐进式学习引导学生模型趋向更平坦的极小值，从而提升泛化能力。

提出的方法

• 设计一种渐进蒸馏流水线，按预选的教师检测器序列依次训练学生模型，从能力较弱但兼容性更高的教师开始，逐步过渡到更强、更复杂的教师。
• 提出一种启发式算法，基于模型间的表征相似性自动确定最优教师序列，无需事先了解蒸馏机制。
• 使用特征匹配损失，引入超参数λ以对齐教师与学生之间的中间特征图，λ通过实验调优（RetinaNet为0.5，Mask R-CNN为0.8）。
• 通过仅在使用首个教师的颈部与头部参数初始化学生时应用继承策略，将MTPD与现有蒸馏方法（如MGD、FGD、CWD）集成。
• 利用基于Swin Transformer的教师模型，其分层特征图与基于ResNet的学生模型相匹配，实现无需额外特征图匹配函数的直接蒸馏。
• 所有模型均使用MMDetection进行训练，采用标准设置：8张GPU，12个周期，COCO输入分辨率为1333×800，Argoverse-HD为1920×1200，优化器为SGD，动量为0.9。

Figure 1: Our proposed Multi-Teacher Progressive Distillation (MTPD) leads to state-of-the-art student detection performance. When switching the teacher model from a convolution-based detector to a Transformer-based one with stronger detection performance, the student does not become more accurate,

实验结果

研究问题

• RQ1 从多个教师进行渐进蒸馏是否能超越单教师蒸馏，提升轻量化目标检测器的性能？
• RQ2 按序列从更兼容的中间模型开始，逐步过渡到更强的最终教师的渐进蒸馏，是否能弥合异构模型间的容量差距？
• RQ3 能否有效实现从基于Transformer的检测器（如Swin Transformer）到卷积主干网络学生（如ResNet-50）的知识迁移，尽管存在架构差异？
• RQ4 MTPD是否通过损失景观更平坦的特性，实现学生模型更好的泛化能力？
• RQ5 所提出的教师序列选择启发式方法是否能在不了解蒸馏机制的前提下，优于人工或随机排序，且表现一致？

主要发现

• MTPD在MS COCO上实现最先进性能，将ResNet-50 RetinaNet的AP从36.5%提升至42.0%，将Mask R-CNN的AP从38.2%提升至42.5%。
• 先从中间教师（ResNet-101）开始，再过渡到最终教师（ResNeXt-101）的渐进蒸馏，获得41.4%的AP，优于直接从最终教师蒸馏（41.0%）和仅使用中间教师（40.7%）。
• 该方法实现了前所未有的从基于Transformer的教师（Swin Transformer）到卷积学生网络的迁移，以往方法因架构不兼容而无法实现。
• 学生模型性能的提升源于更好的泛化能力，而非单纯优化，证据来自学生收敛至损失景观中更平坦的极小值。
• 基于启发式的教师序列选择算法能有效识别最优训练顺序，无需事先了解蒸馏机制，且在多种设置下均能持续提升性能。
• MTPD与现有蒸馏技术（如MGD、FGD、CWD）兼容，无论所用蒸馏损失的复杂度如何，均能持续提升性能。

Figure 2: Multi-Teacher Progressive Distillation (MTPD) for object detectors. Left : For each teacher-student pair, the training target consists of two parts: $L_{\text{distill}}$ minimizes the discrepancy between the neck feature maps of the student and the current teacher, and $L_{\text{detect}}$