[论文解读] Residual Bi-Fusion Feature Pyramid Network for Accurate Single-shot Object Detection

Ping-Yang Chen, Jun-Wei Hsieh+3 more|arXiv (Cornell University)|Nov 27, 2019

Advanced Neural Network Applications被引用 5

一句话总结

本文提出了一种残差双向融合特征金字塔网络（RBF-FPN），通过双向残差连接将深层语义特征与浅层空间精确特征进行融合，从而提升单阶段目标检测的性能。与传统自顶向下的特征金字塔因池化操作导致的位置偏移和小目标检测性能差的问题不同，RBF-FPN在保持精确定位的同时，提升了各尺度目标的检测准确率，在VOC和MS COCO数据集上实现了最先进（SOTA）的性能，且对主干网络的修改极少。

ABSTRACT

State-of-the-art (SoTA) models have improved the accuracy of object detection with a large margin via a FP (feature pyramid). FP is a top-down aggregation to collect semantically strong features to improve scale invariance in both two-stage and one-stage detectors. However, this top-down pathway cannot preserve accurate object positions due to the shift-effect of pooling. Thus, the advantage of FP to improve detection accuracy will disappear when more layers are used. The original FP lacks a bottom-up pathway to offset the lost information from lower-layer feature maps. It performs well in large-sized object detection but poor in small-sized object detection. A new structure "residual feature pyramid" is proposed in this paper. It is bidirectional to fuse both deep and shallow features towards more effective and robust detection for both small-sized and large-sized objects. Due to the "residual" nature, it can be easily trained and integrated to different backbones (even deeper or lighter) than other bi-directional methods. One important property of this residual FP is: accuracy improvement is still found even if more layers are adopted. Extensive experiments on VOC and MS COCO datasets showed the proposed method achieved the SoTA results for highly-accurate and efficient object detection..

研究动机与目标

• 解决因池化操作导致的深层特征金字塔中检测准确率下降的问题。
• 通过恢复自顶向下特征聚合过程中丢失的空间精度，提升小目标检测性能。
• 设计一种双向残差特征融合机制，同时增强语义强度和定位精度。
• 确保该方法在使用更深或更轻量主干网络时仍保持有效性与可训练性。
• 在不牺牲推理效率的前提下，实现单阶段目标检测的最先进准确率。

提出的方法

• 提出一种残差双向融合特征金字塔（RBF-FPN），结合自底向上与自顶向下路径，以保留空间细节和语义丰富性。
• 在浅层与深层特征之间引入残差连接，以稳定训练过程，并支持与多种主干网络的集成。
• 采用双向特征融合：自底向上路径恢复自顶向下上采样过程中丢失的空间信息，而自顶向下路径则增强语义理解能力。
• 使用逐元素残差连接，以促进梯度流动，缓解训练过程中的梯度消失问题。
• 通过转置卷积上采样与跳跃连接的拼接，在多个尺度上实现特征融合。
• 设计模块化架构，使其兼容更深或更轻量的主干网络。

实验结果

研究问题

• RQ1 双向特征融合机制是否能提升单阶段检测器对小目标和大目标的检测准确率？
• RQ2 在特征金字塔中引入残差学习是否能缓解自顶向下路径中池化操作引起的位置偏移问题？
• RQ3 当使用更深或更轻量主干网络时，所提方法是否仍能保持或提升准确率？
• RQ4 与标准特征金字塔网络相比，RBF-FPN在标准基准上的定位精度和mAP表现如何？
• RQ5 RBF-FPN的性能增益是否在不同目标尺度上保持一致，尤其是对小目标？

主要发现

• 所提出的RBF-FPN在MS COCO数据集上实现了最先进（SOTA）的mAP，优于现有单阶段检测器。
• 在VOC 2007和VOC 2012基准上，RBF-FPN分别取得了84.1%和84.3%的mAP，超越了先前的SOTA方法。
• 即使在使用更深或更轻量主干网络时，该方法仍保持一致的准确率提升，表现出强大的泛化能力。
• 由于双向融合更好地保留了空间细节，小目标检测性能得到显著提升。
• 残差设计确保了训练的稳定性与有效特征学习，即使在深层特征金字塔中亦然。
• 大量消融实验表明，双向融合与残差组件对性能增益均至关重要。