[论文解读] CSPNet: A New Backbone that can Enhance Learning Capability of CNN

Chien-Yao Wang, Hong-Yuan Mark Liao+4 more|arXiv (Cornell University)|Nov 27, 2019

Advanced Neural Network Applications参考文献 42被引用 359

一句话总结

CSPNet 引入 Cross Stage Partial Networks，以降低冗余梯度信息，在 ImageNet 和 MS COCO 上保持或提高准确率的同时，将计算量减少最多约 ~20%，并且可应用于 ResNet、ResNeXt 和 DenseNet。

ABSTRACT

Neural networks have enabled state-of-the-art approaches to achieve incredible results on computer vision tasks such as object detection. However, such success greatly relies on costly computation resources, which hinders people with cheap devices from appreciating the advanced technology. In this paper, we propose Cross Stage Partial Network (CSPNet) to mitigate the problem that previous works require heavy inference computations from the network architecture perspective. We attribute the problem to the duplicate gradient information within network optimization. The proposed networks respect the variability of the gradients by integrating feature maps from the beginning and the end of a network stage, which, in our experiments, reduces computations by 20% with equivalent or even superior accuracy on the ImageNet dataset, and significantly outperforms state-of-the-art approaches in terms of AP50 on the MS COCO object detection dataset. The CSPNet is easy to implement and general enough to cope with architectures based on ResNet, ResNeXt, and DenseNet. Source code is at https://github.com/WongKinYiu/CrossStagePartialNetworks.

研究动机与目标

• 在不牺牲精度的前提下，促成适合边缘设备的轻量级 CNN 架构。
• 通过重新设计跨阶段的梯度流，解决深度网络中的冗余梯度信息问题。
• 提出跨阶段部分（CSP）设计，以在保持学习容量的同时减少计算量和内存带宽。
• Demonstrate CSPNet’s applicability to ResNet, ResNeXt, and DenseNet backbones and its benefits for real-time detection.

提出的方法

• 将基层特征图分成两部分；一部分通过密集块，另一部分后来合并，以使梯度流更加多样化。
• 使用部分密集块和部分转化层来截断梯度流并减少冗余梯度信息。
• Introduce Exact Fusion Model (EFM) to better aggregate multi-scale features for object detection and employ Maxout-based feature map compression to curb memory bandwidth.
• Demonstrate CSPNet variants on ImageNet and COCO, comparing against baselines and reporting FPS, FLOPs, and AP metrics.
• Show applicability of CSPNet to ResNet/ResNeXt/DenseNet without bottleneck layers, reducing memory access costs.

实验结果

研究问题

• RQ1 CSPNet 是否能在不牺牲准确率的前提下，降低 CNN 骨干网络中的计算瓶颈和内存带宽？
• RQ2 通过跨阶段部分连接截断梯度流是否能提升学习效率和梯度多样性？
• RQ3 将 CSPNet 与 ResNet、ResNeXt、DenseNet 骨干网结合时，在图像分类和目标检测任务上的表现如何？
• RQ4 Exact Fusion Model (EFM) 是否提升单阶段检测器的多尺度特征聚合？
• RQ5 在 CPU 和移动 GPU 平台上，CSPNet 对实时推理的影响如何？

主要发现

• CSPNet 在不同骨干网络上，在 ImageNet 上以相同或更高的准确率降计算量约 10–20%。
• 在 MS COCO 目标检测中，基于 CSPNet 的模型显著降低计算瓶颈并提升 AP 50 相较基线。
• CSPNet 在某些配置下（例如 PeleeNet 特征金字塔生成）可将内存带宽消耗降低高达 75%。
• EFM 结合基于 Maxout 的压缩和注意力变体在 COCO 的 AP 和 AP 50 相对于 GFM 及其他融合策略有所提升。
• CSPNet 骨干在 ImageNet 上实现了显著的 FLOP 降低（如 CSPResNeXt-50 约 22%）并具有有竞争力或更高的 top-1 准确率。
• CSPNet 支持的检测器在 GPU、CPU 以及边缘设备（如 Jetson TX2、i9-9900K）上显示出良好的实时性能，且无需模型量化。