[论文解读] AugFPN: Improving Multi-scale Feature Learning for Object Detection

Chaoxu Guo, Bin Fan+3 more|arXiv (Cornell University)|Dec 11, 2019

Advanced Neural Network Applications参考文献 52被引用 42

一句话总结

AugFPN 引入 Consistent Supervision、Residual Feature Augmentation、和 Soft RoI Selection，以解决 FPN 的缺陷，在 COCO 上实现跨骨干网络和检测器的一致 AP 增益。

ABSTRACT

Current state-of-the-art detectors typically exploit feature pyramid to detect objects at different scales. Among them, FPN is one of the representative works that build a feature pyramid by multi-scale features summation. However, the design defects behind prevent the multi-scale features from being fully exploited. In this paper, we begin by first analyzing the design defects of feature pyramid in FPN, and then introduce a new feature pyramid architecture named AugFPN to address these problems. Specifically, AugFPN consists of three components: Consistent Supervision, Residual Feature Augmentation, and Soft RoI Selection. AugFPN narrows the semantic gaps between features of different scales before feature fusion through Consistent Supervision. In feature fusion, ratio-invariant context information is extracted by Residual Feature Augmentation to reduce the information loss of feature map at the highest pyramid level. Finally, Soft RoI Selection is employed to learn a better RoI feature adaptively after feature fusion. By replacing FPN with AugFPN in Faster R-CNN, our models achieve 2.3 and 1.6 points higher Average Precision (AP) when using ResNet50 and MobileNet-v2 as backbone respectively. Furthermore, AugFPN improves RetinaNet by 1.6 points AP and FCOS by 0.9 points AP when using ResNet50 as backbone. Codes will be made available.

研究动机与目标

• 识别 FPN 特征金字塔中妨碍多尺度特征利用的设计缺陷。
• 提出含有三个组件的 AugFPN，以解决语义差距、信息丢失和 RoI 分配低效的问题。
• 在 MS COCO 上对多种检测器和骨干网络评估 AugFPN，以评估鲁棒性和通用性。
• 展示对 FPN 基线的显著 AP 提升，并展示其与单阶段和两阶段检测器的兼容性。

提出的方法

• Consistent Supervision 在融合前强制跨多尺度特征图具有相似的语义信息。
• 通过残差分支和自适应空间融合，将具有比率不变性的上下文特征并入最高层金字塔图（M5）。
• Soft RoI Selection 使用自适应空间融合从所有金字塔层学习自适应 RoI 特征融合，避免启发式层级分配。

实验结果

研究问题

• RQ1 在融合之前，Consistent Supervision 是否能够降低金字塔层之间的语义差距？
• RQ2 用比率不变的上下文丰富最高层特征是否能够减少信息丢失并改善多尺度融合？
• RQ3 跨所有金字塔层的自适应、可学习 RoI 特征融合是否能够优于启发式 RoI 层级分配以及最大/求和融合？
• RQ4 所提出的组件是否在 COCO 数据集上跨骨干网络和检测器具有泛化能力？

主要发现

• 用 AugFPN 取代 FPN 使 Faster R-CNN 与 ResNet50 的 AP 提升 2.3（达到 38.8 AP）。
• AugFPN 还将 Faster R-CNN 与 ResNet101 的 AP 提升 1.7（达到 40.6 AP），并对 ResNext-101 变体提升高达 1.4 AP。
• MobileNet-V2 骨干搭配 AugFPN 为 Faster R-CNN 带来 1.6 AP 的提升。
• 一阶段检测器也受益：RetinaNet 在 ResNet50 下提升 1.6 AP，MobileNet-v2 时提升 1.3 AP；FCOS 在 ResNet-50 下提升 0.9 AP。
• 使用 AugFPN 时，Mask R-CNN 的检测增益为 2.0 AP（ResNet50）和 1.5 AP（ResNet101），并伴随相应的分割增益。