[论文解读] An Analysis of Scale Invariance in Object Detection - SNIP

Bharat Singh, Larry S. Davis|arXiv (Cornell University)|Nov 22, 2017

Advanced Neural Network Applications参考文献 34被引用 14

一句话总结

本文提出 SNIP（图像金字塔的尺度归一化），一种新颖的训练方案，通过基于图像金字塔中对象尺度选择性地反向传播梯度，以提升目标检测中的尺度不变性。通过使训练与预训练 ImageNet 模型的尺度分布对齐，SNIP 在 COCO 上实现了最先进性能，单模型达到 45.7% mAP，集成模型达到 48.3%，仅使用边界框监督和现成的 ImageNet 预训练模型。

ABSTRACT

An analysis of different techniques for recognizing and detecting objects under extreme scale variation is presented. Scale specific and scale invariant design of detectors are compared by training them with different configurations of input data. By evaluating the performance of different network architectures for classifying small objects on ImageNet, we show that CNNs are not robust to changes in scale. Based on this analysis, we propose to train and test detectors on the same scales of an image-pyramid. Since small and large objects are difficult to recognize at smaller and larger scales respectively, we present a novel training scheme called Scale Normalization for Image Pyramids (SNIP) which selectively back-propagates the gradients of object instances of different sizes as a function of the image scale. On the COCO dataset, our single model performance is 45.7% and an ensemble of 3 networks obtains an mAP of 48.3%. We use off-the-shelf ImageNet-1000 pre-trained models and only train with bounding box supervision. Our submission won the Best Student Entry in the COCO 2017 challenge. Code will be made available at \url{http://bit.ly/2yXVg4c}.

研究动机与目标

• 探究尽管深度学习取得进展，目标检测性能为何仍显著落后于图像分类的原因。
• 分析 COCO 等数据集中极端尺度变化对基于 CNN 的目标检测器的影响，尤其是对小对象的影响。
• 解决在尺度分布截然不同的检测数据集上微调 ImageNet 预训练模型所导致的领域偏移问题。
• 设计一种训练方案，以提升尺度不变性，同时不减少每种尺度下的训练样本多样性。
• 通过使训练尺度与预训练分布对齐，实现对预训练 ImageNet 模型在小目标检测中的有效利用。

提出的方法

• SNIP 在多尺度图像金字塔上训练检测器，其中每个尺度对应输入图像的不同分辨率。
• 该方法仅对与预训练 ImageNet 模型尺度相近的区域建议（RoIs）进行选择性梯度反向传播。
• 这种尺度对齐最小化了预训练分类网络与检测微调阶段之间的领域偏移。
• SNIP 独立地在图像金字塔的每个尺度上运行，从而充分利用所有尺度下的对象实例。
• 该方法具有通用性，可通过仅修改训练循环，适用于多种检测框架（如 Faster R-CNN 和 R-FCN）。
• 它无需架构更改或除边界框外的额外监督，且与现有流程（如可变形卷积和 Soft-NMS）兼容。

实验结果

研究问题

• RQ1 尽管网络架构相似，为何目标检测性能仍显著低于图像分类？
• RQ2 COCO 等数据集中极端尺度变化如何影响 CNN 在目标检测中的鲁棒性？
• RQ3 在检测数据集上微调预训练 ImageNet 分类器时，由于尺度分布不匹配，性能下降的程度有多大？
• RQ4 能否设计一种训练方案，在不减少每种尺度下训练样本数量的前提下，提升尺度不变性？
• RQ5 基于尺度的选择性梯度反向传播是否能提升检测性能，尤其是对小对象？

主要发现

• SNIP 在 COCO 测试开发集上实现单模型 45.7% mAP，整体性能优于最佳单模型基线 2.5%，对小对象的性能提升达 3.9%。
• 使用 SNIP 的三个网络集成模型达到 48.3% mAP，创下 COCO 2017 挑战赛的新 SOTA 记录。
• 该方法将小对象（≤25 像素）的召回率提升 6.3%，所有对象的召回率提升 2.9%（IoU 为 50%），在困难样本上表现显著。
• 从 RPN 和 RCN 头部移除 SNIP 导致 mAP 下降 3.5%（使用 DPN-98 主干网络），证实其在性能中的关键作用。
• 即使仅使用单尺度 RPN 和 RCN 头部，SNIP 也能实现强大性能，Faster R-CNN 搭配可变形卷积时达到 44.4% mAP，无需特征金字塔。
• 该方法在不同主干架构上均有效，使用 SNIP 时 DPN-98 和 DPN-92 均表现出性能提升。