[论文解读] You Only Look One-level Feature

Qiang Chen, Ying‐Ming Wang+4 more|arXiv (Cornell University)|Mar 17, 2021

Advanced Neural Network Applications参考文献 51被引用 7

一句话总结

本文提出 YOLOF，一种单阶段目标检测器，仅使用单层特征图（C5 或 DC5）而非多尺度特征金字塔，即可实现具有竞争力的精度。通过引入空洞编码器（Dilated Encoder）以捕捉多尺度上下文，并采用均匀匹配（Uniform Matching）来平衡正样本锚框分配，YOLOF 在精度上与 RetinaNet 看齐，同时速度提升 2.5 倍，并在收敛速度上超越 DETR，在 2080Ti 上以 608×608 输入实现 60 fps 下达到 44.3 mAP。

ABSTRACT

This paper revisits feature pyramids networks (FPN) for one-stage detectors and points out that the success of FPN is due to its divide-and-conquer solution to the optimization problem in object detection rather than multi-scale feature fusion. From the perspective of optimization, we introduce an alternative way to address the problem instead of adopting the complex feature pyramids - {\em utilizing only one-level feature for detection}. Based on the simple and efficient solution, we present You Only Look One-level Feature (YOLOF). In our method, two key components, Dilated Encoder and Uniform Matching, are proposed and bring considerable improvements. Extensive experiments on the COCO benchmark prove the effectiveness of the proposed model. Our YOLOF achieves comparable results with its feature pyramids counterpart RetinaNet while being $2.5 imes$ faster. Without transformer layers, YOLOF can match the performance of DETR in a single-level feature manner with $7 imes$ less training epochs. With an image size of $608 imes608$, YOLOF achieves 44.3 mAP running at 60 fps on 2080Ti, which is $13\%$ faster than YOLOv4. Code is available at \url{https://github.com/megvii-model/YOLOF}.

研究动机与目标

• 探究多尺度特征融合或分而治之策略是否为 FPN 在单阶段检测器中成功的主要原因。
• 挑战“复杂特征金字塔融合对单阶段检测器高性能至关重要”的假设。
• 提出一种仅使用单一层特征的简单、高效替代 FPN 的检测器。
• 通过弥补单层特征检测中多尺度上下文缺失与锚框不平衡问题，提升其性能。
• 在不使用 Transformer 模块或复杂架构的前提下，实现最先进速度-精度权衡。

提出的方法

• 提出一种仅使用主干网络 C5 特征图（下采样率 32）的单层特征检测器 YOLOF。
• 引入空洞编码器（Dilated Encoder），即在主干网络中引入空洞卷积，以扩大感受野并捕获多尺度上下文，而无需增加额外特征层级。
• 采用均匀匹配（Uniform Matching）方法，通过在特征图上均匀选择 IoU 最高的 top-k 锚框，重新平衡正样本分配，缓解稀疏锚框带来的不平衡问题。
• 采用三阶段训练策略，结合学习率衰减与 SWA（Sharpness-Aware Minimization），以提升泛化能力。
• 采用改进的锚框设置，每个位置设置五个锚框（面积范围 32² 至 512²，长宽比为 1），以在单一层特征图上覆盖所有目标尺度。
• 使用 ATSS 方法并设定 k=15（而非 k=9），以实现更优的正样本选择，经消融实验验证。

实验结果

研究问题

• RQ1 多尺度特征融合是 FPN 在单阶段检测器中成功的主要原因，还是分而治之策略更为关键？
• RQ2 能否仅使用单一层特征实现具有竞争力的单阶段检测器性能，而无需显式多尺度特征融合？
• RQ3 如何在不增加复杂度的前提下弥合单层与多层特征检测器之间的性能差距？
• RQ4 单层检测器的最优超参数与训练策略为何，才能与 FPN 基检测器比肩或超越？
• RQ5 单层检测器能否在收敛速度上超越基于 Transformer 的检测器（如 DETR），并实现更高精度？

主要发现

• SiMo 编码器（单输入、多输出）在精度上仅比 MiMo（FPN）编码器低约 1 mAP，表明多尺度特征融合的重要性可能被高估。
• MiSo 与 SiSo 编码器的性能下降超过 12 mAP，证实通过尺度分解进行分而治之是优化过程中不可或缺的关键。
• YOLOF 仅使用单个 C5 特征图，在 COCO 上使用 ResNet-50 时达到 39.2 mAP，与 RetinaNet（39.1 mAP）相当，但速度提升 2.5 倍。
• YOLOF-DC5（空洞 C5，下采样率 16）在 ResNet-101 下达到 40.5 mAP，优于标准 YOLOF，且推理速度达 17 FPS。
• YOLOF 在 2080Ti 上以 608×608 输入实现 60 fps 下达到 44.3 mAP，比 YOLOv4 快 13%，展现出卓越的速度-精度权衡。
• YOLOF 在训练轮次上收敛速度比 DETR 快 7 倍，且最终性能相当，即使未使用 Transformer 层。