[论文解读] Feature Pyramid Grids

Kai Chen, Yuhang Cao+3 more|arXiv (Cornell University)|Apr 7, 2020

Advanced Neural Network Applications参考文献 41被引用 12

一句话总结

特征金字塔网格（FPG）引入了一种深度、多路径的特征金字塔结构，采用规则网格状的并行自底向上路径，并通过多方向侧向连接进行融合，显著提升了目标检测的精度，相较于FPN和NAS优化的基线模型，在相似计算成本下表现更优。FPG在RetinaNet、Faster R-CNN、Mask R-CNN和Cascade R-CNN上均实现了0.2%至2.3%更高的mAP，且无需使用神经架构搜索。

ABSTRACT

Feature pyramid networks have been widely adopted in the object detection literature to improve feature representations for better handling of variations in scale. In this paper, we present Feature Pyramid Grids (FPG), a deep multi-pathway feature pyramid, that represents the feature scale-space as a regular grid of parallel bottom-up pathways which are fused by multi-directional lateral connections. FPG can improve single-pathway feature pyramid networks by significantly increasing its performance at similar computation cost, highlighting importance of deep pyramid representations. In addition to its general and uniform structure, over complicated structures that have been found with neural architecture search, it also compares favorably against such approaches without relying on search. We hope that FPG with its uniform and effective nature can serve as a strong component for future work in object recognition.

研究动机与目标

• 为解决多尺度目标检测的挑战，通过改进层次化特征表示，而不依赖昂贵的神经架构搜索。
• 设计一种系统化、可解释且可泛化的特征金字塔结构，以在多种检测框架中提升性能。
• 探究深度、密集连接的金字塔网格是否能够超越标准FPN和基于搜索的架构（如NAS-FPN）。
• 评估并行路径和多方向侧向连接对特征表示质量和检测精度的影响。

提出的方法

• FPG构建了一个由p条并行自底向上路径组成的规则网格，每条路径以分层方式处理主干网络的特征。
• 多方向侧向连接——AcrossSame、AcrossUp、AcrossDown和AcrossSkip——实现了所有路径之间跨尺度和同尺度的信息交换。
• AcrossSkip使用直接跳跃连接，而其他侧向连接则采用卷积层和ReLU激活函数进行特征融合。
• 通过系统性消融实验识别关键组件，从密集网格逐步收缩至最小有效结构。
• FPG被集成到单阶段（RetinaNet）、两阶段（Faster R-CNN、Mask R-CNN）和级联式（Cascade R-CNN）检测器中进行评估。
• 实验在相同设置下进行，以确保与FPN和NAS-FPN的公平比较，评估指标包括mAP、AP50、AP75以及对小、中、大目标的AP。

实验结果

研究问题

• RQ1 一种系统化设计的、非搜索型的特征金字塔是否能够超越标准FPN和NAS优化的架构？
• RQ2 并行路径和多方向侧向连接如何促进特征表示质量和检测精度的提升？
• RQ3 FPG在不同检测框架（包括单阶段、两阶段和级联检测器）中是否具有良好的泛化能力？
• RQ4 在替换FPN为FPG时，精度与计算成本之间的权衡如何？
• RQ5 FPG是否能在无需高昂搜索成本和复杂架构的前提下，实现优于NAS-FPN的性能？

主要发现

• 在相同计算成本下，FPG在RetinaNet上的mAP比NAS-FPN高出0.2%，证明其在无需架构搜索的情况下性能更优。
• 在Faster R-CNN上，FPG相比NAS-FPN将mAP提升了1.5%，尤其在小目标和遮挡目标检测方面表现更佳。
• 在Mask R-CNN上，FPG相比NAS-FPN实现了2.3%的mAP提升，误分类更少，且对小尺度实例的掩码预测更优。
• 在Cascade R-CNN中，FPG相比NAS-FPN实现了2.2%的mAP提升，表明其在复杂检测流程中具有强大泛化能力。
• FPG在Faster R-CNN上比PA-FPN高出+2.3 mAP，在Mask R-CNN上高出+2.7 mAP，且FLOPs和参数量更低。
• 当与HRNet-W18结合时，FPG相比HRNet-W18 + HR-FPN将mAP提升了1.9%，表明其与高分辨率主干网络具有良好的互补性。