[论文解读] CBNet: A Novel Composite Backbone Network Architecture for Object Detection

Yudong Liu, Yongtao Wang+5 more|arXiv (Cornell University)|Sep 9, 2019

Advanced Neural Network Applications被引用 13

一句话总结

本文提出复合主干网络（CBNet），一种新颖的架构，通过使用复合连接将多个相同的主干网络（如ResNeXt）堆叠起来，将高层次特征从一个主干网络传递到下一个，从而提升目标检测性能。将CBNet集成到SOTA检测器（如Cascade Mask R-CNN）中后，该方法在COCO数据集上实现了53.3的mAP新SOTA结果，且仅使用单模型推理，使多种检测器的mAP提升了1.5–3.0个百分点。

ABSTRACT

In existing CNN based detectors, the backbone network is a very important component for basic feature extraction, and the performance of the detectors highly depends on it. In this paper, we aim to achieve better detection performance by building a more powerful backbone from existing backbones like ResNet and ResNeXt. Specifically, we propose a novel strategy for assembling multiple identical backbones by composite connections between the adjacent backbones, to form a more powerful backbone named Composite Backbone Network (CBNet). In this way, CBNet iteratively feeds the output features of the previous backbone, namely high-level features, as part of input features to the succeeding backbone, in a stage-by-stage fashion, and finally the feature maps of the last backbone (named Lead Backbone) are used for object detection. We show that CBNet can be very easily integrated into most state-of-the-art detectors and significantly improve their performances. For example, it boosts the mAP of FPN, Mask R-CNN and Cascade R-CNN on the COCO dataset by about 1.5 to 3.0 percent. Meanwhile, experimental results show that the instance segmentation results can also be improved. Specially, by simply integrating the proposed CBNet into the baseline detector Cascade Mask R-CNN, we achieve a new state-of-the-art result on COCO dataset (mAP of 53.3) with single model, which demonstrates great effectiveness of the proposed CBNet architecture. Code will be made available on https://github.com/PKUbahuangliuhe/CBNet.

研究动机与目标

• 通过增强现有主干网络的表征能力，提升目标检测性能。
• 解决原始设计用于图像分类的单个主干网络在提取目标检测最优特征方面的局限性。
• 开发一种即插即用、成本低廉的替代方案，无需从零开始训练新的更深主干网络。
• 在不重新训练整个检测器或在ImageNet上进行新预训练的前提下，实现显著的性能提升。

提出的方法

• CBNet通过堆叠多个相同的主干网络（包括辅助主干和主控主干）构建复合主干网络。
• 在相邻主干网络的并行阶段之间引入复合连接，使一个主干网络的高层次特征可作为下一个主干网络的输入。
• 使用最后一个主干网络（主控主干）的特征图作为检测头、FPN和RPN的主要输入。
• 该方法无需额外预训练——每个主干网络均使用公开可用的ImageNet预训练模型进行初始化。
• 通过移除辅助主干网络的早期阶段，提出一种加速版本的CBNet，以降低计算成本，同时保持精度。
• 该架构与现有检测器（如FPN、Mask R-CNN和Cascade R-CNN）兼容，支持即插即用的集成。

实验结果

研究问题

• RQ1 通过在主干网络之间引入阶段间特征流动，堆叠多个相同主干网络是否能将目标检测性能提升至超过单个主干网络的水平？
• RQ2 与标准的面向分类任务的主干网络相比，复合连接机制是否能有效增强检测任务的特征表示能力？
• RQ3 CBNet在COCO基准上对多种SOTA检测器的mAP提升程度如何？
• RQ4 CBNet是否能在无需新预训练或架构重构的前提下实现SOTA性能？
• RQ5 CBNet中主干网络的数量如何影响检测精度和推理速度？

主要发现

• CBNet在COCO上将FPN、Mask R-CNN和Cascade R-CNN的mAP提升了1.5至3.0个百分点。
• 当集成到Cascade Mask R-CNN中时，CBNet在COCO上实现了53.3的mAP新SOTA结果，且仅使用单模型推理。
• 随着主干网络数量的增加，检测mAP稳步提升，在三个主干网络时趋于收敛，表明三主干结构为最优配置。
• 加速版本的CBNet（K=2）将推理速度从5.5 fps提升至6.9 fps，同时mAP仅比原始模型低0.2个百分点以内。
• 可视化结果表明，CBNet能提取更具代表性的特征，对前景物体激活更强，对背景激活更弱。
• 复合连接机制能够有效融合多个主干网络之间的高层与低层特征，提升特征的判别能力。