[论文解读] Revisiting the Sibling Head in Object Detector

Guanglu Song, Yu Liu+1 more|arXiv (Cornell University)|Mar 17, 2020

Advanced Neural Network Applications参考文献 45被引用 9

一句话总结

本文提出任务感知空间解耦（TSD），一种简单而有效的算子，通过从共享区域建议中生成任务特定建议，将目标检测器中分类头与回归头解耦，显著减少空间错位。TSD 在 COCO 和 OpenImages 上所有主干网络上均将 mAP 提升约 3%，结合渐进约束后额外提升约 1%，实现单模型最先进性能（使用 ResNet-101 时 mAP 为 49.4，使用 SENet154 时 mAP 为 51.2）。

ABSTRACT

The ``shared head for classification and localization'' (sibling head), firstly denominated in Fast RCNN~\cite{girshick2015fast}, has been leading the fashion of the object detection community in the past five years. This paper provides the observation that the spatial misalignment between the two object functions in the sibling head can considerably hurt the training process, but this misalignment can be resolved by a very simple operator called task-aware spatial disentanglement (TSD). Considering the classification and regression, TSD decouples them from the spatial dimension by generating two disentangled proposals for them, which are estimated by the shared proposal. This is inspired by the natural insight that for one instance, the features in some salient area may have rich information for classification while these around the boundary may be good at bounding box regression. Surprisingly, this simple design can boost all backbones and models on both MS COCO and Google OpenImage consistently by ~3% mAP. Further, we propose a progressive constraint to enlarge the performance margin between the disentangled and the shared proposals, and gain ~1% more mAP. We show the \algname{} breaks through the upper bound of nowadays single-model detector by a large margin (mAP 49.4 with ResNet-101, 51.2 with SENet154), and is the core model of our 1st place solution on the Google OpenImage Challenge 2019.

研究动机与目标

• 识别并解决目标检测器中兄弟头分类与回归任务之间固有的空间错位问题。
• 通过在空间维度上解耦分类与定位的特征学习，提升检测性能。
• 开发一种轻量化、即插即用的模块，无需架构重构即可增强两阶段与单阶段检测器。
• 在包括 COCO 和 Google OpenImages 在内的多种主干网络与数据集上实现一致的性能提升。
• 通过有效分离任务特定的空间表征，突破单模型检测器的性能上限。

提出的方法

• TSD 基于共享区域建议 $P$ 生成两个解耦建议——$π_c$ 用于分类，$π_r$ 用于回归，使每个任务能关注其最优空间区域。
• 该方法采用任务感知建议估计，自适应选择空间位置：分类任务关注显著中心，回归任务关注边界区域。
• 使用主干网络生成的共享特征图来生成两个建议，既保持特征一致性，又实现空间解耦。
• 分类头与回归头在其各自解耦建议上独立训练，减少梯度传播中的冲突。
• 引入渐进约束（PC），通过鼓励分类任务更高置信度和回归任务更紧密预测，进一步扩大解耦建议与共享建议之间的性能差距。
• 整个模块可微分，可无缝集成至 Faster R-CNN 和 RetinaNet 等现有检测器中，推理开销极低。

实验结果

研究问题

• RQ1 目标检测器中兄弟头的性能瓶颈，特别是分类与回归之间空间错位的原因是什么？
• RQ2 能否通过解耦特征学习的空间维度来提升检测精度，而不增加模型复杂度？
• RQ3 任务感知建议估计如何影响不同 IoU 阈值下的定位精度与分类置信度？
• RQ4 TSD 在 COCO 和 OpenImages 等大规模数据集上，对多种主干网络的性能提升程度如何？
• RQ5 渐进约束是否能有效放大空间解耦带来的增益，并使单模型检测器突破当前性能极限？

主要发现

• 在 MS COCO 和 Google OpenImages 上，TSD 在所有主干网络和模型上均将 mAP 提升约 3%，且在不同架构中表现一致。
• 在 COCO test-dev 上使用 ResNet-101 时，TSD 达到 mAP 49.4，超越所有使用相同主干的单模型检测器。
• 使用更重的 SENet154 主干时，TSD 在 COCO test-dev 上达到 mAP 51.2，创下单模型新最先进纪录。
• 性能增益随 IoU 阈值提高而增强，表明其定位精度更优——尤其在 AP.75 及以上表现突出。
• TSD 在不同物体尺度上表现出强泛化能力，中型与大型物体的增益最大。
• 渐进约束在 TSD 基础上额外带来约 1% 的 mAP 提升，证实其能有效放大解耦优势。