[论文解读] Centralized Feature Pyramid for Object Detection

Quan Yu, Dong Zhang+2 more|arXiv (Cornell University)|Oct 5, 2022

Advanced Neural Network Applications被引用 6

一句话总结

本文提出一种中心化特征金字塔（CFP）用于目标检测，通过轻量级MLP和可学习视觉中心显式建模全局长距离依赖关系与局部角落区域，提升特征表示能力。通过自上而下地对特征金字塔施加全局中心化调控，CFP在MS-COCO数据集上对YOLOv5和YOLOX基线模型实现了稳定的mAP提升，mAP最高提升达2.7%，且推理速度比EfficientDet-D3快1.8倍。

ABSTRACT

Visual feature pyramid has shown its superiority in both effectiveness and efficiency in a wide range of applications. However, the existing methods exorbitantly concentrate on the inter-layer feature interactions but ignore the intra-layer feature regulations, which are empirically proved beneficial. Although some methods try to learn a compact intra-layer feature representation with the help of the attention mechanism or the vision transformer, they ignore the neglected corner regions that are important for dense prediction tasks. To address this problem, in this paper, we propose a Centralized Feature Pyramid (CFP) for object detection, which is based on a globally explicit centralized feature regulation. Specifically, we first propose a spatial explicit visual center scheme, where a lightweight MLP is used to capture the globally long-range dependencies and a parallel learnable visual center mechanism is used to capture the local corner regions of the input images. Based on this, we then propose a globally centralized regulation for the commonly-used feature pyramid in a top-down fashion, where the explicit visual center information obtained from the deepest intra-layer feature is used to regulate frontal shallow features. Compared to the existing feature pyramids, CFP not only has the ability to capture the global long-range dependencies, but also efficiently obtain an all-round yet discriminative feature representation. Experimental results on the challenging MS-COCO validate that our proposed CFP can achieve the consistent performance gains on the state-of-the-art YOLOv5 and YOLOX object detection baselines.

研究动机与目标

• 解决现有特征金字塔忽略层内特征调控的问题，尤其是密集预测任务中关键的角落区域。
• 通过统一框架显式建模全局长距离依赖与局部角落线索，提升特征表示能力。
• 开发一种轻量化、高效且可泛化的轻量级方法，在不增加计算成本的前提下提升最先进目标检测器的性能。
• 通过引入基于视觉中心信息的全局显式中心化机制，实现对特征金字塔中特征的更好调控。

提出的方法

• 提出显式视觉中心（EVC）模块，利用轻量级MLP捕捉全局长距离依赖，同时通过并行的可学习视觉中心建模局部角落区域。
• 引入全局中心化调控（GCR）机制，利用最深层的层内视觉中心，自上而下地调控浅层特征。
• 采用自上而下的特征精炼策略，利用深层特征中的显式视觉中心引导金字塔中浅层特征的增强。
• 将EVC与GCR模块集成到现有特征金字塔架构中，如YOLOv5和YOLOX中的结构，且不修改主干网络。
• 采用可学习的视觉中心机制，自适应关注空间角落，保留具有判别性的局部细节。
• 以即插即用方式应用CFP模块，使不同基于YOLO的检测器均获得一致的性能提升。

实验结果

研究问题

• RQ1 显式建模全局长距离依赖与局部角落区域是否能提升目标检测中的特征表示？
• RQ2 基于视觉中心信息的中心化调控机制是否能以自上而下的方式提升特征金字塔的性能？
• RQ3 所提出的CFP方法是否能在不增加FLOPs的前提下，实现对多样化基于YOLO的目标检测模型的一致mAP提升？
• RQ4 与基线方法及注意力机制相比，CFP在检测小目标或遮挡目标方面的有效性如何？
• RQ5 EVC与GCR的集成在密集预测任务中，对提升特征判别力与上下文理解能力方面，其作用程度如何？

主要发现

• CFP在MS-COCO上相较YOLOv4-CSP实现2.7%的mAP提升，表明其在不同模型尺度下均具有一致的性能增益。
• CFP${}_{\textrm{YOLOX-L}}$达到49.40%的mAP，较YOLOX-L高出1.6%，且推理速度比EfficientDet-D3快1.8倍。
• CFP${}_{\textrm{YOLOv5-M}}$在平均精度上与EfficientDet-D2相当，但推理速度更快1.5倍。
• 定性结果表明，CFP能有效检测基线模型失效的遮挡或远距离目标（如柜子里的斑马、杯子）。
• EVC模块通过减少因上下文理解不足导致的检测失败，尤其在存在遮挡或光照变化的复杂场景中表现更优。
• GCR机制通过利用深层视觉中心信号调控浅层特征，成功提升了特征判别力，增强了定位与分类的准确性。