[论文解读] Dynamic Proposals for Efficient Object Detection

Yiming Cui, Linjie Yang+1 more|arXiv (Cornell University)|Jul 12, 2022

Advanced Neural Network Applications被引用 6

一句话总结

本文提出动态建议（Dynamic Proposals），一种即插即用模块，使目标检测器能够根据输入图像的复杂度动态调整建议数量，从而在不损失准确率的前提下提升推理效率。通过使用可学习的回归头估计目标数量，并结合就地蒸馏策略，该方法在Sparse R-CNN和QueryInst等模型上实现了最高达80%的推理速度提升，同时保持或提升AP得分。

ABSTRACT

Object detection is a basic computer vision task to loccalize and categorize objects in a given image. Most state-of-the-art detection methods utilize a fixed number of proposals as an intermediate representation of object candidates, which is unable to adapt to different computational constraints during inference. In this paper, we propose a simple yet effective method which is adaptive to different computational resources by generating dynamic proposals for object detection. We first design a module to make a single query-based model to be able to inference with different numbers of proposals. Further, we extend it to a dynamic model to choose the number of proposals according to the input image, greatly reducing computational costs. Our method achieves significant speed-up across a wide range of detection models including two-stage and query-based models while obtaining similar or even better accuracy.

研究动机与目标

• 为解决固定建议数量的目标检测器无法适应不同计算预算的低效问题。
• 使单个训练好的模型能够根据输入图像的复杂度动态选择建议数量。
• 在不降低目标检测或实例分割准确率的前提下降低计算成本。
• 设计一种与两阶段检测器和基于查询的检测器兼容的即插即用模块。
• 通过利用动态建议计数和特征蒸馏，提升推理效率。

提出的方法

• 使用一个回归头（记为$\mathcal{M}$）估计输入图像中的目标数量，以指导建议数量的选择。
• 模型采用可切换的建议机制，允许仅通过一个训练好的网络实现不同数量建议的推理。
• 应用就地蒸馏策略，将完整建议模型的知识迁移至建议数量更少的变体中，从而稳定训练并提升性能。
• 通过估计的目标数量$\tilde{n}$动态选择建议数量，该值在损失函数中通过公式8使用。
• 将该框架作为插件模块集成到现有检测器（如Sparse R-CNN、QueryInst、Faster R-CNN和Mask R-CNN）中。
• 该方法在仅做少量架构修改的前提下，同时支持目标检测和实例分割任务。

实验结果

研究问题

• RQ1 是否可以训练单个目标检测器，使其根据输入图像的复杂度动态调整建议数量？
• RQ2 所提出的动态建议机制在保持检测准确率的同时，能否有效减少推理时间？
• RQ3 就地蒸馏在多大程度上提升了低建议数量变体的性能？
• RQ4 目标数量估计模块在预测每张图像中的目标数量方面有多准确？
• RQ5 该动态建议框架能否在多种两阶段检测器和基于查询的检测器中有效部署？

主要发现

• 如图1所示，该方法在QueryInst上将推理速度提升最高达80%，同时AP得分保持相似或更高。
• 在MS COCO和Cityscapes基准上，估计的目标数量平均误差均低于5个。
• 在MS COCO和Cityscapes上，建议数量估计的四分类准确率均超过97%。
• 使用真实目标数量$ng$作为基准时，其AP得分与使用估计值$\tilde{n}$时几乎完全一致，证实了估计模块的准确性。
• 就地蒸馏在不增加推理成本的前提下，使目标检测和实例分割任务的AP得分至少提升0.3%。
• 当配置编号$\theta$从4增加到12时，性能略有提升（AP提升0.2%），但对推理速度影响不大。