[论文解读] MimicDet: Bridging the Gap Between One-Stage and Two-Stage Object Detection

Xin Lu, Quanquan Li+2 more|arXiv (Cornell University)|Sep 24, 2020

Advanced Neural Network Applications参考文献 36被引用 12

一句话总结

MimicDet 提出了一种新颖的一阶段目标检测框架，通过使用共享主干网络和双分支头（一个一阶段检测头作为学生，一个两阶段检测头作为教师）直接模仿高质量的两阶段特征，弥合了一阶段与两阶段检测器之间的精度差距。该方法在 COCO 上使用 ResNeXt-101-64×4d 主干网络实现了 46.1 mAP 的性能，超越了当时最先进的单阶段检测器，同时实现了端到端训练，无需预先训练独立的教师网络。

ABSTRACT

Modern object detection methods can be divided into one-stage approaches and two-stage ones. One-stage detectors are more efficient owing to straightforward architectures, but the two-stage detectors still take the lead in accuracy. Although recent work try to improve the one-stage detectors by imitating the structural design of the two-stage ones, the accuracy gap is still significant. In this paper, we propose MimicDet, a novel and efficient framework to train a one-stage detector by directly mimic the two-stage features, aiming to bridge the accuracy gap between one-stage and two-stage detectors. Unlike conventional mimic methods, MimicDet has a shared backbone for one-stage and two-stage detectors, then it branches into two heads which are well designed to have compatible features for mimicking. Thus MimicDet can be end-to-end trained without the pre-train of the teacher network. And the cost does not increase much, which makes it practical to adopt large networks as backbones. We also make several specialized designs such as dual-path mimicking and staggered feature pyramid to facilitate the mimicking process. Experiments on the challenging COCO detection benchmark demonstrate the effectiveness of MimicDet. It achieves 46.1 mAP with ResNeXt-101 backbone on the COCO test-dev set, which significantly surpasses current state-of-the-art methods.

研究动机与目标

• 弥合尽管一阶段方法具有效率优势，但一阶段与两阶段检测器之间长期存在的精度差距。
• 克服传统知识蒸馏在目标检测中教师与学生网络异构且需要预训练的局限性。
• 通过直接模仿两阶段特征，无需预训练独立的教师模型，实现一阶段检测器的端到端训练。
• 设计一种实用且高效的框架，支持大尺寸主干网络并保持高推理速度。
• 通过结构和特征层面的模仿，解决一阶段检测器中的特征错位与类别不平衡问题。

提出的方法

• 使用共享主干网络服务于一阶段（学生）和两阶段（教师）检测头，实现联合优化，消除了对独立教师网络预训练的需求。
• 两阶段检测头（T-head）设计为参数量较大，并采用类似 RoIAlign 的操作，为稀疏提议提取高质量、空间一致的特征。
• 一阶段检测头（S-head）在所有锚框上执行密集预测，保持高效性与速度。
• 采用引导可变形卷积，对齐学生与教师检测头之间的特征，减少因不同提议采样策略导致的空间错位。
• 引入双路径模仿与交错特征金字塔，增强特征迁移效果，提升知识蒸馏的保真度。
• 框架支持端到端训练，无额外推理开销，可高效利用如 ResNeXt-101 等大尺寸主干网络。

实验结果

研究问题

• RQ1 一阶段检测器是否能在不预训练教师模型的前提下，通过直接模仿两阶段特征实现两阶段检测器级别的精度？
• RQ2 在知识蒸馏过程中，如何有效缓解一阶段与两阶段检测器之间的特征错位问题？
• RQ3 采用共享主干和双分支头的统一训练框架是否能在保持推理效率的同时，超越现有的一阶段检测器在精度上的表现？
• RQ4 双路径模仿与交错特征金字塔等架构组件对蒸馏性能有何影响？
• RQ5 与传统采用独立教师-学生训练流程的知识蒸馏方法相比，MimicDet 的训练效率如何？

主要发现

• MimicDet 在 COCO 测试集上使用 ResNeXt-101-64×4d 主干网络实现了 46.1 mAP，显著优于当时最先进的单阶段检测器，如 FCOS（43.2 mAP）和 AlignDet（42.0 mAP）。
• 在 ResNet-101 主干下，MimicDet 实现了 44.4 mAP，优于相同主干和输入尺寸下的 RetinaNet（39.1 mAP）和 FSAF（40.9 mAP）。
• 与分离主干的基线相比，训练时间减少了约 50%：ResNet-101 的训练时间从 47 小时缩短至 22 小时。
• 在单张 TITAN V GPU 上，MimicDet 使用 ResNet-50 和 600px 输入时推理速度为 23 FPS，mAP 达 38.7；使用 ResNet-101 和 800px 输入时，速度为 13 FPS，mAP 达 41.8。
• 速度-精度权衡表现良好：输入尺寸从 600px 增加到 800px 时，mAP 提升 3.1 个百分点（38.7 到 41.8），仅增加 19ms 延迟。
• 消融实验证实，双路径模仿与交错特征金字塔显著提升了蒸馏性能，尤其在减少特征错位和提升提议质量方面效果明显。