[论文解读] Gold-YOLO: Efficient Object Detector via Gather-and-Distribute Mechanism

Chengcheng Wang, Wei He+5 more|arXiv (Cornell University)|Sep 20, 2023

Advanced Neural Network Applications被引用 251

一句话总结

Gold-YOLO 引入 Gather-and-Distribute（GD）颈部以增强 YOLO 的多尺度特征融合，同时实现 MAE 风格的预训练，在速度有竞争力的情况下获得更高的 AP。

ABSTRACT

In the past years, YOLO-series models have emerged as the leading approaches in the area of real-time object detection. Many studies pushed up the baseline to a higher level by modifying the architecture, augmenting data and designing new losses. However, we find previous models still suffer from information fusion problem, although Feature Pyramid Network (FPN) and Path Aggregation Network (PANet) have alleviated this. Therefore, this study provides an advanced Gatherand-Distribute mechanism (GD) mechanism, which is realized with convolution and self-attention operations. This new designed model named as Gold-YOLO, which boosts the multi-scale feature fusion capabilities and achieves an ideal balance between latency and accuracy across all model scales. Additionally, we implement MAE-style pretraining in the YOLO-series for the first time, allowing YOLOseries models could be to benefit from unsupervised pretraining. Gold-YOLO-N attains an outstanding 39.9% AP on the COCO val2017 datasets and 1030 FPS on a T4 GPU, which outperforms the previous SOTA model YOLOv6-3.0-N with similar FPS by +2.4%. The PyTorch code is available at https://github.com/huawei-noah/Efficient-Computing/tree/master/Detection/Gold-YOLO, and the MindSpore code is available at https://gitee.com/mindspore/models/tree/master/research/cv/Gold_YOLO.

研究动机与目标

• 鼓励在超越标准 FPN/PANet 结构的前提下改进 YOLO 颈部的信息融合。
• 提出基于 GD 的颈部，包含两个分支（Low-GD 和 High-GD）以及一个相邻层融合模块，以增强跨尺度特征交互。
• 为 YOLO 系列启用 MAE 风格的预训练，以改进收敛性和准确性。
• 展示 COCO 数据集上最先进的准确性-速度权衡，并展示对其他检测任务的普适性。

提出的方法

• 提出 Gather-and-Distribute（GD）颈部，通过特征对齐模块（FAM）和信息融合模块（IFM）从所有层级全局聚合特征，然后通过信息注入模块（Inject）进行分发。
• 实现两个 GD 分支：Low-GD 负责高分辨率、小目标特征，High-GD 负责较粗糙、较大目标特征；分别使用卷积块和基于 Transformer 的融合。
• 引入轻量级相邻层融合（LAF）模块，进一步混合相邻层并在速度与精度之间取得平衡。
• 采用 MAE 风格的掩码图像建模预训练作为骨干网，以提升 Gold-YOLO 模型的收敛性和准确性。
• 在 Transformer 块中用 BatchNorm 代替 LayerNorm、用 ReLU 代替 GELU 以提速推理，并在使用 MIM 时对卷积网络采用分层稀疏预训练方法。

实验结果

研究问题

• RQ1 如何通过统一的 Gather-and-Distribute 机制改善 YOLO 颈部架构中的跨层特征融合？
• RQ2 Low-GD 和 High-GD 分支对小目标与大目标检测性能的影响是什么？
• RQ3 MAE 风格的掩码图像建模预训练是否提高了 YOLO 系列的性能和收敛速度？
• RQ4 与现有 YOLO 模型相比，GD 颈部对 COCO val2017 的推理速度和整体 AP 有何影响？

主要发现

• Gold-YOLO-N 在 COCO val2017 上实现 39.9% AP，T4 GPU（FP16，bs=1）下 FPS 为 1030，延迟 1.7 ms（bs=1）。
• Gold-YOLO-S 实现 46.1% AP（自蒸馏变体 46.4% AP），446 FPS（bs=32），延迟 3.3 ms（bs=1）。
• Gold-YOLO-M 实现 50.9% AP（68.2% AP50），220 FPS（bs=32），延迟 6.4 ms（bs=1）。
• Gold-YOLO-L 实现 53.2% AP（70.5% AP50），116 FPS（bs=32），延迟 11.1 ms（bs=1）。
• Gold-YOLO 变体在相近速度下的 AP 表现明显优于相应的 YOLOv6/YOLOv8/YOLOv7 基线；MAE 风格的预训练（MIM）为更大模型带来额外提升。
• 消融表明 GD 结构（Low-GD+High-GD+LAF）在保持具有竞争力的 FPS 的同时，带来更高的 AP，并对小/大目标有针对性改进。