[论文解读] Concatenated Feature Pyramid Network for Instance Segmentation

Yongqing Sun, Pranav Shenoy K P+2 more|arXiv (Cornell University)|Mar 16, 2019

Advanced Neural Network Applications参考文献 20被引用 4

一句话总结

本文提出了一种级联特征金字塔网络（CFPN），通过在所有特征金字塔层级上使用连接（concatenation）和一种新型的Inception-like模块，将低层特征（边缘、纹理）与高层语义特征进行融合，从而提升实例分割性能。该方法在COCO数据集上相较Mask R-CNN将掩码质量与AP提升了0.9，且计算开销极低，额外参数仅限主干网络之外。

ABSTRACT

Low level features like edges and textures play an important role in accurately localizing instances in neural networks. In this paper, we propose an architecture which improves feature pyramid networks commonly used instance segmentation networks by incorporating low level features in all layers of the pyramid in an optimal and efficient way. Specifically, we introduce a new layer which learns new correlations from feature maps of multiple feature pyramid levels holistically and enhances the semantic information of the feature pyramid to improve accuracy. Our architecture is simple to implement in instance segmentation or object detection frameworks to boost accuracy. Using this method in Mask RCNN, our model achieves consistent improvement in precision on COCO Dataset with the computational overhead compared to the original feature pyramid network.

研究动机与目标

• 通过在所有特征金字塔层级上最优地整合低层特征（边缘、纹理）到高层语义特征中，提升实例分割精度。
• 克服现有特征金字塔网络中逐元素相加方法的局限性，后者限制了特征相关性的学习并难以捕捉跨层级依赖关系。
• 设计一种计算高效的架构，在不增加模型参数或推理成本的前提下提升掩码质量。
• 证明基于连接的特征融合优于特征金字塔网络中常用的逐元素相加方法，尤其在实例分割任务中。
• 以Mask R-CNN为基线框架，在COCO数据集上验证所提方法的有效性。

提出的方法

• 提出一种新型自底向上的路径，通过连接（而非逐元素相加）将深层网络中的低层特征传播至更高层级的特征金字塔。
• 采用一种新型的Inception-like模块，通过连接来自不同金字塔层级的特征图并应用卷积操作，学习多层级特征图之间的相关性。
• 在连接后的特征图上应用3×3的后处理卷积层，以优化特征并减少混叠效应，尤其提升了小目标检测性能。
• 保留原始的自顶向下路径并使用逐元素相加以保证稳定性和效率，同时将自底向上的路径中的侧向连接替换为连接操作。
• 将CFPN模块应用于Mask R-CNN，用双路径特征融合机制（自顶向下与自底向上连接）替代其标准FPN结构。
• 使用ResNet-50主干网络、批量归一化和ImageNet预训练权重，在COCO数据集上采用标准优化协议进行训练。

实验结果

研究问题

• RQ1 在特征金字塔中对多层级特征进行连接，是否能相比逐元素相加显著提升实例分割性能？
• RQ2 在所有金字塔层级上融合低层特征是否能提升掩码质量，尤其是对小目标的检测？
• RQ3 采用连接方式的自底向上特征融合路径是否能在计算成本极低的前提下，实现优于现有自顶向下或混合方法的性能？
• RQ4 在COCO数据集上，所提出的CFPN架构与Mask R-CNN及PANet相比，在AP、AP50和AP75指标上的表现如何？
• RQ5 添加后处理卷积层是否能显著提升小目标检测性能，同时不增加模型复杂度？

主要发现

• 所提出的CFPN模型在COCO数据集上达到34.8的掩码AP，较基线Mask R-CNN（33.9）提升0.9，较Mask R-CNN结合自底向上路径增强的版本（34.4）提升0.4。
• 该模型在边界框AP上较Mask R-CNN提升0.5，较BPA增强版本提升0.3，表明性能提升具有持续性。
• Model 1在AP_L（大目标）指标上表现最佳，表明由于边缘与纹理信息的更优利用，大目标的定位精度得到提升。
• 不使用后处理卷积层的Model 1*仍达到34.6的掩码AP，仅需9.6×10⁹次乘加操作（MAC），表明核心CFPN机制本身即可带来性能增益，无需额外优化层。
• 尽管连接操作通常计算成本更高，但整体MAC数量仍保持较低水平（Model 1为56.7×10⁹），仅略高于原始FPN（52.2×10⁹），证明了其计算效率。
• 可视化对比显示，CFPN生成的掩码在小目标和复杂结构目标上更准确地贴合物体边界，归因于低层特征的最优整合。