[论文解读] CSL-YOLO: A New Lightweight Object Detection System for Edge Computing

Yuming Zhang, Chun-Chieh Lee+2 more|arXiv (Cornell University)|Jul 10, 2021

Advanced Neural Network Applications参考文献 29被引用 24

一句话总结

本文提出 CSL-YOLO，一种面向边缘计算的轻量级目标检测系统，采用一种新颖的跨阶段轻量级（CSL）模块，在保持高精度的同时显著降低浮点运算量（FLOPs）和参数量。CSL 模块通过使用逐通道卷积和逐点卷积操作替代标准卷积，高效生成冗余特征，使 CSL-YOLO 在仅 1470 MFLOPs 和 3.2M 参数下实现 42.8% 的 AP50，精度超越 Tiny-YOLOv4，且浮点运算量减少 58%，参数量减少 47%。

ABSTRACT

The development of lightweight object detectors is essential due to the limited computation resources. To reduce the computation cost, how to generate redundant features plays a significant role. This paper proposes a new lightweight Convolution method Cross-Stage Lightweight (CSL) Module, to generate redundant features from cheap operations. In the intermediate expansion stage, we replaced Pointwise Convolution with Depthwise Convolution to produce candidate features. The proposed CSL-Module can reduce the computation cost significantly. Experiments conducted at MS-COCO show that the proposed CSL-Module can approximate the fitting ability of Convolution-3x3. Finally, we use the module to construct a lightweight detector CSL-YOLO, achieving better detection performance with only 43% FLOPs and 52% parameters than Tiny-YOLOv4.

研究动机与目标

• 解决现有轻量级目标检测器在资源受限的边缘设备上计算成本过高的问题。
• 在不牺牲检测精度的前提下降低 FLOPs 和模型参数量，聚焦于实时边缘部署的推理效率。
• 设计一种新型卷积模块，以显著更低的计算量近似 3x3 卷积的拟合能力。
• 构建完整的检测器流水线——CSL-Bone、CSL-FPN 和 CSL-YOLO——以实现极低 FLOPs 和高精度。
• 通过创新设计提升 AP 性能，包括非指数回归的边界框预测和自适应锚框生成。

提出的方法

• 提出 CSL-Module，通过在中间扩展阶段用逐通道卷积替代标准逐点卷积，高效生成候选特征。
• 采用深度可分离卷积，将空间操作与通道操作解耦，相比标准 3x3 卷积，FLOPs 降低 5–7 倍。
• 设计 CSL-Bone，一种基于堆叠 CSL-Module 的轻量级主干网络，替代传统残差块以减少计算量。
• 设计 CSL-FPN，一种基于 CSL-Module 的特征金字塔网络变体，以极低 FLOPs 维持高分辨率特征。
• 采用非指数边界框预测头，直接回归偏移量 $ w = w_{\text{anchor}} + w_{\text{pred}} $，提升稳定性，AP 提升 1–2%。
• 采用基于特征图尺度和锚框尺寸的新型锚框生成策略，提升不同输入尺寸下的定位精度。

实验结果

研究问题

• RQ1 能否设计一种轻量级卷积模块，在将 FLOPs 降低 5–7 倍的同时，近似 3x3 卷积的表征能力？
• RQ2 如何将 CSL-Module 有效集成到完整检测器架构中，实现在 MS-COCO 上以极低 FLOPs 和参数量达到 SOTA 性能？
• RQ3 将边界框回归中的指数函数替换为直接偏移量预测，是否能提升检测精度和训练稳定性？
• RQ4 能否在不使用 ImageNet 预训练的情况下，从头开始在 MS-COCO 上训练模型，实现极小模型尺寸和推理成本下的竞争力 AP 分数？
• RQ5 与现有轻量级 YOLO 变体相比，所提出的 CSL-YOLO 在 FLOPs、参数量和 AP 指标上的性能优势有多大？

主要发现

• CSL-Module 相比标准 3x3 卷积，FLOPs 降低 5–7 倍，同时保持相近的拟合能力。
• CSL-YOLO 在 416x416 输入尺寸下仅用 1470 MFLOPs 和 3.2M 参数即实现 42.8% 的 AP50，精度超越 Tiny-YOLOv4（40.2% AP50，3450 MFLOPs，6.1M 参数）。
• 在 224x224 输入尺寸下，CSL-YOLO 实现 16.5% AP 和 32.2% AP50，仅需 425 MFLOPs 和 3.2M 参数，精度和效率均优于 YOLO-LITE。
• 非指数预测在所有输入尺寸下均使 AP 提升 1–2%，在 512x512 分辨率下实现 26.3% 的 AP50。
• CSL-YOLO 在轻量级 YOLO 检测器中达到 SOTA 性能，展现出卓越的 FLOPs 和参数效率。
• 模型在 MS-COCO 上从头训练，无需 ImageNet 预训练，证实其在极低计算成本下具备强大的泛化能力。