[论文解读] IPG-Net: Image Pyramid Guidance Network for Small Object Detection

Ziming Liu, Guangyu Gao+2 more|arXiv (Cornell University)|Dec 2, 2019

Advanced Neural Network Applications参考文献 30被引用 7

一句话总结

该论文提出IPG-Net，一种新颖的图像金字塔引导网络，通过轻量级变换与自适应融合模块，将空间信息丰富的浅层图像金字塔特征注入深层主干网络层，从而缓解特征错位与信息不平衡问题。该方法在单尺度推理下于Pascal VOC 2007上达到85.9%的mAP，在MS COCO test-dev上达到45.7%的mAP，性能达到当前最优水平。

ABSTRACT

For Convolutional Neural Network-based object detection, there is a typical dilemma: the spatial information is well kept in the shallow layers which unfortunately do not have enough semantic information, while the deep layers have a high semantic concept but lost a lot of spatial information, resulting in serious information imbalance. To acquire enough semantic information for shallow layers, Feature Pyramid Networks (FPN) is used to build a top-down propagated path. In this paper, except for top-down combining of information for shallow layers, we propose a novel network called Image Pyramid Guidance Network (IPG-Net) to make sure both the spatial information and semantic information are abundant for each layer. Our IPG-Net has two main parts: the image pyramid guidance transformation module and the image pyramid guidance fusion module. Our main idea is to introduce the image pyramid guidance into the backbone stream to solve the information imbalance problem, which alleviates the vanishment of the small object features. This IPG transformation module promises even in the deepest stage of the backbone, there is enough spatial information for bounding box regression and classification. Furthermore, we designed an effective fusion module to fuse the features from the image pyramid and features from the backbone stream. We have tried to apply this novel network to both one-stage and two-stage detection models, state of the art results are obtained on the most popular benchmark data sets, i.e. MS COCO and Pascal VOC.

研究动机与目标

• 为解决基于CNN的目标检测器中浅层与深层之间存在的信息不平衡问题，其中浅层保留空间细节但语义信息不足，而深层则损失空间精度。
• 缓解因深层卷积层中空间信息丢失导致的特征错位问题，尤其改善小目标检测的性能。
• 通过引导特征注入方式在深层特征图中保留空间细节，从而提升小目标与超小目标的检测性能。
• 设计一种灵活且轻量的模块，可在不改变现有检测框架架构的前提下增强其性能。

提出的方法

• 提出一种图像金字塔引导（IPG）变换模块，从多尺度图像金字塔中提取空间信息丰富的特征，特别关注小目标的空间细节保留。
• 将IPG变换应用于主干网络的每一阶段，生成比深层特征更具空间准确性的引导特征。
• 采用IPG融合模块，通过在共享隐空间中使用加法、乘积和拼接等操作，对齐并融合主干特征与IPG特征。
• 通过特征投影与维度对齐，确保主干特征与IPG引导特征在融合前的兼容性。
• 在ResNet主干网络的第3阶段应用融合模块，因消融实验表明该位置在计算开销最小的前提下可实现最优性能。
• 支持单阶段（如RetinaNet）与两阶段（如Faster R-CNN、Cascade R-CNN）检测器，展现出广泛的兼容性。

实验结果

研究问题

• RQ1 将图像金字塔特征注入深层主干层是否能有效减少特征错位并提升小目标的检测精度？
• RQ2 所提出的IPG-Net相较于标准FPN及其他特征融合方法，在保留空间与语义信息方面表现如何？
• RQ3 IPG融合策略是否在不同检测架构（包括单阶段与两阶段检测器）中均能实现一致的性能提升？
• RQ4 在ResNet主干网络中，IPG模块的最佳融合位置与深度为何？
• RQ5 IPG-Net是否能在单尺度推理下于MS COCO与Pascal VOC等标准基准上达到当前最优性能？

主要发现

• IPG-Net在Pascal VOC 2007测试集上使用多尺度推理达到85.9%的mAP，创下新的最先进水平。
• 在单尺度推理下，IPG-Net于MS COCO test-dev上达到45.7%的mAP，优于现有单阶段与两阶段检测器。
• 该方法使Faster R-CNN的mAP提升0.7%（从79.8%增至80.5%），在多尺度测试下进一步提升至81.6%（+1.9%）。
• 由于单阶段网络对深层特征依赖更强，IPG-Net对单阶段检测器（如RetinaNet）的增益更显著（提升0.6% mAP），优于两阶段模型。
• 消融实验证实，在ResNet的第3阶段融合IPG特征可实现最优性能，且计算开销极低。
• IPG融合模块在不同融合操作（加法、乘积、拼接）下均有效，其中拼接操作表现最稳定且提升最一致。