[论文解读] DPNet: Dual-Path Network for Real-time Object Detection with Lightweight Attention

Quan Zhou, Huimin Shi+4 more|arXiv (Cornell University)|Sep 28, 2022

Advanced Neural Network Applications被引用 6

一句话总结

DPNet 提出了一种双路主干网络，结合轻量级自相关与交叉相关模块（LSCM 和 LCCM），以增强实时目标检测中的特征表示。通过并行路径与高效注意力机制融合高层语义与低层细节，其在 320×320 分辨率下仅消耗 1.04 GFLOPs 的计算量，实现 164 FPS 的推理速度，同时在 MS COCO 上达到 30.5% AP 的最先进精度。

ABSTRACT

The recent advances of compressing high-accuracy convolution neural networks (CNNs) have witnessed remarkable progress for real-time object detection. To accelerate detection speed, lightweight detectors always have few convolution layers using single-path backbone. Single-path architecture, however, involves continuous pooling and downsampling operations, always resulting in coarse and inaccurate feature maps that are disadvantageous to locate objects. On the other hand, due to limited network capacity, recent lightweight networks are often weak in representing large scale visual data. To address these problems, this paper presents a dual-path network, named DPNet, with a lightweight attention scheme for real-time object detection. The dual-path architecture enables us to parallelly extract high-level semantic features and low-level object details. Although DPNet has nearly duplicated shape with respect to single-path detectors, the computational costs and model size are not significantly increased. To enhance representation capability, a lightweight self-correlation module (LSCM) is designed to capture global interactions, with only few computational overheads and network parameters. In neck, LSCM is extended into a lightweight crosscorrelation module (LCCM), capturing mutual dependencies among neighboring scale features. We have conducted exhaustive experiments on MS COCO and Pascal VOC 2007 datasets. The experimental results demonstrate that DPNet achieves state-of the-art trade-off between detection accuracy and implementation efficiency. Specifically, DPNet achieves 30.5% AP on MS COCO test-dev and 81.5% mAP on Pascal VOC 2007 test set, together mwith nearly 2.5M model size, 1.04 GFLOPs, and 164 FPS and 196 FPS for 320 x 320 input images of two datasets.

研究动机与目标

• 解决单路轻量级检测器因过度下采样而丢失细粒度物体细节的局限性。
• 在不显著增加模型大小或计算成本的前提下，提升轻量级网络的特征表示能力。
• 在颈部模块中实现有效的跨尺度特征交互，以提升检测性能。
• 设计一种轻量级注意力机制，以极低计算开销捕捉全局依赖关系。
• 在实时目标检测中，实现精度、模型大小与推理速度之间新的最先进权衡。

提出的方法

• 提出双路主干架构（HRP 与 LRP），分别处理高分辨率与低分辨率特征，以同时保留语义上下文与空间细节。
• 在主干中引入轻量级自相关模块（LSCM），通过空间池化与通道间相关性建模全局特征依赖，同时减少参数量。
• 在颈部模块中采用轻量级交叉相关模块（LCCM），实现特征金字塔之间的双向融合，增强跨尺度特征交互。
• 使用深度可分离卷积与通道压缩（压缩比 r）以保持效率，同时支持注意力计算。
• 在 LCCM 中采用双向融合策略，结合自顶向下与自底向上的特征优化，提升特征表示能力。
• 采用轻量级检测头，结合紧凑的 ConvBlocks，以维持推理速度与模型大小。

实验结果

研究问题

• RQ1 双路主干设计是否能通过保留低层细节同时维持高层语义，提升轻量级目标检测器的特征表示？
• RQ2 轻量级自相关模块（LSCM）在计算成本极低的情况下，能多大程度增强全局特征建模能力？
• RQ3 所提出的轻量级交叉相关模块（LCCM）在多尺度特征融合方面，相比标准 FPN 或 PAFPN 的有效性如何？
• RQ4 在 LSCM 中，池化大小与压缩比的最优组合是什么，以在精度与效率之间实现最佳平衡？
• RQ5 所提出的 DPNet 是否能在 MS COCO 与 Pascal VOC 2007 等标准基准上同时实现最先进精度与推理速度？

主要发现

• DPNet 在 MS COCO 测试开发集上达到 30.5% AP，创下轻量级实时检测器的新 SOTA 记录。
• 在 Pascal VOC 2007 上，DPNet 实现 81.5% mAP，优于现有轻量级模型，同时保持高推理速度。
• 仅需 1.04 GFLOPs 与 250 万参数，DPNet 在 320×320 输入图像上实现 164 FPS 的推理速度，展现出极高的推理效率。
• 消融实验表明，结合自顶向下与自底向上 LCCM 路径可获得最佳性能（相比 FPN 提升 1.3% AP，相比 BFP 提升 1.1% AP），且 FLOPs 增加极少。
• 最优 LSCM 配置采用池化大小为 5 与压缩比 8，实现 28.8% AP，计算成本极低（279 万参数，1.20 GFLOPs）。
• LCCM 仅使用 242 万参数与 1.20 GFLOPs，即在 AP、AP50 与 AP75 上优于 PAFPN 与 BFP，且效率显著更高。