[论文解读] MFPN: A Novel Mixture Feature Pyramid Network of Multiple Architectures for Object Detection

Tingting Liang, Yongtao Wang+4 more|arXiv (Cornell University)|Dec 20, 2019

Advanced Neural Network Applications参考文献 24被引用 10

一句话总结

本文提出MFPN，一种新型混合特征金字塔网络，通过并行多分支结构将自顶向下、自底向上以及融合-分裂FPN架构相结合，以增强多尺度目标检测性能。通过融合三种不同FPN变体的特征，MFPN在MS-COCO数据集上将平均精度提升约2%，同时仅带来极小的延迟增加，显著提升了对小、中、大目标的检测性能。

ABSTRACT

Feature pyramids are widely exploited in many detectors to solve the scale variation problem for object detection. In this paper, we first investigate the Feature Pyramid Network (FPN) architectures and briefly categorize them into three typical fashions: top-down, bottom-up and fusing-splitting, which have their own merits for detecting small objects, large objects, and medium-sized objects, respectively. Further, we design three FPNs of different architectures and propose a novel Mixture Feature Pyramid Network (MFPN) which inherits the merits of all these three kinds of FPNs, by assembling the three kinds of FPNs in a parallel multi-branch architecture and mixing the features. MFPN can significantly enhance both one-stage and two-stage FPN-based detectors with about 2 percent Average Precision(AP) increment on the MS-COCO benchmark, at little sacrifice in running time latency. By simply assembling MFPN with the one-stage and two-stage baseline detectors, we achieve competitive single-model detection results on the COCO detection benchmark without bells and whistles.

研究动机与目标

• 为解决目标检测中的尺度变化问题，分析现有FPN架构的局限性。
• 设计三种专用的FPN变体——自顶向下、自底向上和融合-分裂FPN，分别针对小、大或中等尺寸目标进行优化。
• 提出统一的混合特征金字塔网络（MFPN），整合三种FPN类型的优势，以提升多尺度特征学习能力。
• 在不增加推理延迟的前提下，实现对单阶段和两阶段检测器的一致性能提升。

提出的方法

• 设计一种自顶向下FPN，通过引入高层语义信息增强低层特征，以提升小目标检测性能。
• 提出一种自底向上FPN，将低层空间细节注入高层特征，以增强大目标检测能力。
• 引入一种融合-分裂FPN，先融合高低层特征，再将其分裂为多尺度输出，以改善中等目标检测。
• 构建MFPN为并行多分支架构，每个分支实现一种FPN变体，支持跨分支的特征混合。
• 通过逐元素相加或拼接方式融合三个分支的输出，形成统一且丰富的特征金字塔。
• 在单阶段（如RetinaNet）和两阶段（如Faster R-CNN、Cascade Mask R-CNN）检测器中集成MFPN，计算开销极低。

实验结果

研究问题

• RQ1 将具有不同特征流动模式的多种FPN架构组合，是否能超越单一架构FPN，实现更优的多尺度目标检测？
• RQ2 采用并行多分支设计，融合自顶向下、自底向上和融合-分裂FPN，是否能获得比传统FPN更优的特征表示？
• RQ3 MFPN在同时提升小、中、大目标类别检测精度方面，能达到何种程度？
• RQ4 MFPN是否能在不增加推理延迟或无需复杂训练策略的前提下，实现显著的AP提升？

主要发现

• MFPN在不增加推理延迟的前提下，将RetinaNet-ResNeXt-101的平均精度（AP）提升了2.1%。
• MFPN使Cascade Mask R-CNN-ResNet101的AP提升1.6%，仅增加8ms延迟。
• 自顶向下FPN在小目标上取得最高AP（15.2），自底向上FPN在大目标上表现最佳（48.7），融合-分裂FPN在中等目标上表现最优（38.5）。
• 使用单个RetinaNet模型，MFPN在MS-COCO测试开发集上达到43.4 AP，超越所有其他单阶段检测器。
• 使用单个Cascade Mask R-CNN模型，MFPN在MS-COCO测试开发集上达到47.6 AP，优于采用图像金字塔训练和测试的SNIPER和TridentNet等方法。
• 可视化结果表明，与标准FPN相比，MFPN在所有目标尺度上均学习到更清晰、更准确的特征响应。