[论文解读] Multi-patch Feature Pyramid Network for Weakly Supervised Object Detection in Optical Remote Sensing Images

Pourya Shamsolmoali, Jocelyn Chanussot+3 more|arXiv (Cornell University)|Aug 18, 2021

Remote-Sensing Image Classification参考文献 58被引用 44

一句话总结

该论文提出MPFP-Net，一种用于光学遥感图像弱监督目标检测的多块特征金字塔网络。它通过引入多块学习来处理不完整的目标实例和非凸损失曲面，同时利用保持范数的跨尺度特征融合来增强多尺度检测。该模型在LEVIR数据集上实现了86.73%的mAP，参数量为5120万，FLOPs为2280亿，准确率和效率均优于现有方法。

ABSTRACT

Object detection is a challenging task in remote sensing because objects only occupy a few pixels in the images, and the models are required to simultaneously learn object locations and detection. Even though the established approaches well perform for the objects of regular sizes, they achieve weak performance when analyzing small ones or getting stuck in the local minima (e.g. false object parts). Two possible issues stand in their way. First, the existing methods struggle to perform stably on the detection of small objects because of the complicated background. Second, most of the standard methods used hand-crafted features, and do not work well on the detection of objects parts of which are missing. We here address the above issues and propose a new architecture with a multiple patch feature pyramid network (MPFP-Net). Different from the current models that during training only pursue the most discriminative patches, in MPFPNet the patches are divided into class-affiliated subsets, in which the patches are related and based on the primary loss function, a sequence of smooth loss functions are determined for the subsets to improve the model for collecting small object parts. To enhance the feature representation for patch selection, we introduce an effective method to regularize the residual values and make the fusion transition layers strictly norm-preserving. The network contains bottom-up and crosswise connections to fuse the features of different scales to achieve better accuracy, compared to several state-of-the-art object detection models. Also, the developed architecture is more efficient than the baselines.

研究动机与目标

• 解决由于监督信息有限和背景复杂，导致在光学遥感图像中检测小尺寸或部分可见目标的挑战。
• 克服弱监督学习中损失函数非凸性所引发的错误目标部件检测和不完整实例学习问题。
• 通过保持范数的跨层级连接，融合不同层级的特征，提升多尺度目标检测的特征表示能力。
• 设计一种可扩展且高效的架构，在保持高精度的同时，相比最先进模型减少模型参数量和FLOPs。
• 通过联合块级与尺度级学习策略，实现在多种图像源和条件下的鲁棒检测能力。

提出的方法

• 提出一种多块学习（MPL）方案，将图像块划分为与类别相关的子集，使模型即使在缺乏完整实例标注的情况下，也能学习到共现且具有判别性的目标部件。
• 引入一种新型特征融合机制，利用自底向上和跨向连接结合多尺度特征，通过严格保持范数的融合层稳定梯度流动。
• 采用加权即时融合策略，替代计算量较大的Softmax融合，将训练成本降低1.24倍，同时保持性能不变。
• 集成一种多方向、尺度化的特征金字塔网络（ESS-FPN），联合缩放图像尺寸、深度和宽度，以增强所有维度的特征表示能力。
• 使用联合损失函数端到端训练整个网络，将块选择、特征聚合与语义投影整合到统一框架中。
• 采用SPN（语义金字塔网络）作为主干网络，以提取更丰富的多层级特征，从而提升准确率和推理速度。

实验结果

研究问题

• RQ1 当缺乏完整实例标注时，多块学习是否能通过建模共现的目标部件来提升弱监督目标检测的性能？
• RQ2 跨尺度且保持范数的特征融合在遥感图像中对小尺寸和多尺度目标的检测性能有何提升作用？
• RQ3 与单一维度缩放相比，联合缩放图像尺寸、深度和宽度在多大程度上提升了特征表示能力和检测准确率？
• RQ4 与Softmax或动态融合相比，所提出的即时融合机制是否能在不降低模型性能的前提下减少计算成本？
• RQ5 在基准遥感图像数据集上，MPFP-Net与最先进模型相比，在准确率和效率方面表现如何？

主要发现

• MPFP-Net在LEVIR测试集上达到86.73%的平均平均精度（mAP），相比基线MPFP-Net-S6+FPN提升8.32 mAP，同时参数量减少58%。
• 在P40 GPU上，该模型比次快基线快3.7倍，推理延迟相比其他检测器最高降低3.8倍。
• 所提出的即时融合方法相比Softmax融合运行速度快1.24倍，同时保持相近的mAP和训练稳定性，显著降低计算成本而不损失性能。
• 联合多块与多尺度学习显著提升了检测效率与准确率，MPFP-Net在性能上优于仅使用块学习或单维度缩放的模型。
• 在DOTA数据集上，MPFP-Net在15个目标类别中均达到最先进水平，即使在复杂背景中也能实现精确且稳定的边界框预测。
• 大规模遥感图像的定性结果表明，MPFP-Net在不同图像源和条件下具有良好的泛化能力，能稳健检测小尺寸和不完整目标。