[论文解读] GiraffeDet: A Heavy-Neck Paradigm for Object Detection

Yiqi Jiang, Zhiyu Tan+4 more|arXiv (Cornell University)|Feb 9, 2022

Advanced Neural Network Applications被引用 74

一句话总结

GiraffeDet 引入了一种轻量级 Space-to-Depth backbone，配备一个深度、灵活的 generalized-FPN neck，以实现密集的多尺度特征融合，在 COCO 的多种 FLOPs 预算下获得较高的准确性。

ABSTRACT

In conventional object detection frameworks, a backbone body inherited from image recognition models extracts deep latent features and then a neck module fuses these latent features to capture information at different scales. As the resolution in object detection is much larger than in image recognition, the computational cost of the backbone often dominates the total inference cost. This heavy-backbone design paradigm is mostly due to the historical legacy when transferring image recognition models to object detection rather than an end-to-end optimized design for object detection. In this work, we show that such paradigm indeed leads to sub-optimal object detection models. To this end, we propose a novel heavy-neck paradigm, GiraffeDet, a giraffe-like network for efficient object detection. The GiraffeDet uses an extremely lightweight backbone and a very deep and large neck module which encourages dense information exchange among different spatial scales as well as different levels of latent semantics simultaneously. This design paradigm allows detectors to process the high-level semantic information and low-level spatial information at the same priority even in the early stage of the network, making it more effective in detection tasks. Numerical evaluations on multiple popular object detection benchmarks show that GiraffeDet consistently outperforms previous SOTA models across a wide spectrum of resource constraints. The source code is available at https://github.com/jyqi/GiraffeDet.

研究动机与目标

• 推动从传统的重骨干设计向轻量级骨干搭配深层颈部以提高目标检测效率的转变。
• 设计一种轻量级骨干，保持多尺度特征提取而不增加额外计算负担。
• 开发一个重颈部融合模块（Generalized-FPN），实现高层语义与低层空间细节之间的密集跨尺度信息交流。

提出的方法

• 提出一个轻量级的 Space-to-Depth Chain (S2D-Chain) 作为骨干，用于以较低计算开销提取多尺度特征。
• 引入 Generalized-FPN (GFPN)，采用 queen-fusion 风格的跨尺度连接和跳层链接（dense-link 和 log2n-link），以实现跨尺度和跨层的大量信息交流。
• 采用两参数缩放方案（phi_d 表示深度，phi_w 表示宽度），生成一组具有不同 GFPN 深度和宽度的 GiraffeDet 模型。
• 在轻量级 S2D-chain 顶部应用通过 GFPN 的重颈部设计，并将其与检测头（GFocalV2）和锚框分配器（ATSS）耦合。
• 通过消融研究比较跳层策略（dense vs log2n）、跨尺度连接（Queen-fusion）以及骨干与颈部贡献，验证重颈部范式。

实验结果

研究问题

• RQ1 轻量级骨干在目标检测中是否足以实现有效的多尺度特征提取，还是重颈部融合对性能更为关键？
• RQ2 GFPN 中不同的跨尺度融合策略（包括 queen-fusion 和 skip-layer 链接）在不同 FLOPs 预算下如何影响检测准确性？
• RQ3 在不增大骨干网络的前提下，放大 GFPN 的深度和宽度是否能在一系列计算预算中带来最先进的准确性？
• RQ4 在 COCO 上实现高性能时，颈部（GFPN）相对于骨干（S2D-chain）的重要性有多大？
• RQ5 在 GiraffeDet 框架中，变形卷积（DCN）是否进一步提升性能？

主要发现

• GiraffeDet 在 COCO 数据集上在匹配的 FLOPs 预算下持续超越以往的 SOTA 模型。
• 将轻量级 S2D-chain 骨干与深层 GFPN 颈部相结合，在跨对象尺度的检测中表现强劲，尤其是小尺度和大尺度实例。
• GFPN 采用 log2n 跳层连接和 Queen-fusion 跨尺度通道，能够有效实现高层语义信息与低层空间信息的交流。
• GFPN 的深度与宽度缩放（phi_d 和 phi_w）可以产生六个 GiraffeDet 变体，覆盖广泛的 FLOPs，同时保持有竞争力的准确性。
• DCN 增强的 GFPN 变体带来显著的 AP 提升，验证了将 DCN 与所提颈部结合的好处。