[论文解读] Extended Feature Pyramid Network for Small Object Detection

Chunfang Deng, Mengmeng Wang+2 more|arXiv (Cornell University)|Mar 16, 2020

Advanced Neural Network Applications参考文献 40被引用 24

一句话总结

本文提出扩展特征金字塔网络（EFPN），通过引入高分辨率特征金字塔层级和特征纹理迁移（FTT）模块，实现特征超分并提取细粒度细节，从而提升小目标检测性能。同时，采用前景-背景平衡损失以缓解类别不平衡问题，在清华-腾讯100K和MS COCO小目标检测基准上实现最先进性能，且计算与内存效率优异。

ABSTRACT

Small object detection remains an unsolved challenge because it is hard to extract information of small objects with only a few pixels. While scale-level corresponding detection in feature pyramid network alleviates this problem, we find feature coupling of various scales still impairs the performance of small objects. In this paper, we propose extended feature pyramid network (EFPN) with an extra high-resolution pyramid level specialized for small object detection. Specifically, we design a novel module, named feature texture transfer (FTT), which is used to super-resolve features and extract credible regional details simultaneously. Moreover, we design a foreground-background-balanced loss function to alleviate area imbalance of foreground and background. In our experiments, the proposed EFPN is efficient on both computation and memory, and yields state-of-the-art results on small traffic-sign dataset Tsinghua-Tencent 100K and small category of general object detection dataset MS COCO.

研究动机与目标

• 解决小目标在特征图中空间表征受限导致的持续性检测挑战。
• 克服现有特征金字塔网络（FPNs）中因尺度层级特征耦合引发的性能退化问题。
• 通过引入专用的高分辨率特征金字塔层级，增强小目标的特征表征能力。
• 设计一种新型模块，同步实现特征超分与区域细节提取，提升特征质量。
• 通过新设计的损失函数调整采样策略，缓解训练过程中前景与背景区域面积不平衡问题。

提出的方法

• 在特征金字塔网络中专门引入扩展的高分辨率特征金字塔层级，以提升小目标检测性能。
• 设计特征纹理迁移（FTT）模块，用于对低层特征进行超分处理并提取可信的区域细节。
• 将FTT模块集成至特征融合路径中，以增强高分辨率层级的特征质量。
• 提出一种前景-背景平衡损失函数，通过调整采样策略降低前景与背景区域之间的不平衡。
• 通过避免参数量大幅增加或引入复杂操作，保持计算与内存效率。
• 在清华-腾讯100K与MS COCO等基准数据集上进行训练与评估，采用标准检测指标。

实验结果

研究问题

• RQ1 在基于FPN的检测器中引入专用的高分辨率特征金字塔层级，是否能有效提升小目标的特征表征能力？
• RQ2 特征纹理迁移（FTT）模块在多大程度上可增强小目标的特征质量与细节提取能力？
• RQ3 前景-背景平衡损失函数是否能有效缓解小目标检测中因类别不平衡导致的性能退化？
• RQ4 在小目标检测基准上，EFPN与最先进方法相比，在准确率与效率方面表现如何？
• RQ5 所提方法是否能在保持高效率的同时，实现小目标检测任务上的卓越性能？

主要发现

• EFPN在小交通标志数据集清华-腾讯100K上达到最先进性能。
• 模型在MS COCO数据集中小目标类别上取得最先进结果。
• 所提EFPN在计算与内存使用方面均保持高效率。
• 特征纹理迁移（FTT）模块有效提升了特征超分与区域细节提取能力。
• 前景-背景平衡损失函数成功缓解了训练过程中的区域面积不平衡问题。
• 高分辨率特征金字塔层级的引入显著提升了小目标的检测准确率。