[论文解读] An Analysis of Pre-Training on Object Detection

Hengduo Li, Bharat Singh+3 more|arXiv (Cornell University)|Apr 11, 2019

Advanced Neural Network Applications参考文献 59被引用 33

一句话总结

本论文分析在对象检测上对 CNN 进行预训练（相对于图像分类）如何影响对检测、分割和分类的迁移，结果表明检测预训练在定位任务上表现出色，但可能会损害分类性能。

ABSTRACT

We provide a detailed analysis of convolutional neural networks which are pre-trained on the task of object detection. To this end, we train detectors on large datasets like OpenImagesV4, ImageNet Localization and COCO. We analyze how well their features generalize to tasks like image classification, semantic segmentation and object detection on small datasets like PASCAL-VOC, Caltech-256, SUN-397, Flowers-102 etc. Some important conclusions from our analysis are --- 1) Pre-training on large detection datasets is crucial for fine-tuning on small detection datasets, especially when precise localization is needed. For example, we obtain 81.1% mAP on the PASCAL-VOC dataset at 0.7 IoU after pre-training on OpenImagesV4, which is 7.6% better than the recently proposed DeformableConvNetsV2 which uses ImageNet pre-training. 2) Detection pre-training also benefits other localization tasks like semantic segmentation but adversely affects image classification. 3) Features for images (like avg. pooled Conv5) which are similar in the object detection feature space are likely to be similar in the image classification feature space but the converse is not true. 4) Visualization of features reveals that detection neurons have activations over an entire object, while activations for classification networks typically focus on parts. Therefore, detection networks are poor at classification when multiple instances are present in an image or when an instance only covers a small fraction of an image.

研究动机与目标

• 评估对象检测预训练如何泛化到检测、分割和分类任务。
• 在多目标数据集上比较检测预训练与分类预训练的差异。
• 理解内部特征表示以及定位与分类能力之间的关系。
• 评估数据集规模与边界框注释丰富程度对迁移性能的影响。

提出的方法

• 在大型检测数据集（OpenImages、ImageNet-Loc、COCO）上对 CNN 骨干网络进行预训练，并与 ImageNet-Cls 预训练进行比较。
• 在 Pascal-Voc 上对预训练模型进行检测和分割的微调，在 Caltech-256、Sun-397 和 Oxford-102 Flowers 上进行分类。
• 使用 SNIPER 时代的检测器和带数据增强的标准微调流程。
• 在多个 IoU 阈值（0.1 到 0.7）的情况下分析定位性能，并通过 trimap 实验量化边界与非边界行为。
• 可视化激活并进行特征空间分析（如 Conv5 相似性、t-SNE、聚类），以比较检测表示与分类表示。

实验结果

研究问题

• RQ1 大型检测数据集的预训练是否能在小规模检测数据集和高 IoU 定位上提升微调性能？
• RQ2 检测预训练对语义分割和图像分类的性能有何影响？
• RQ3 检测预训练与分类预训练网络在特征与激活的内部差异为何？
• RQ4 检测特征空间的相似性是否能预测分类特征空间的相似性？
• RQ5 预训练数据集规模与边界框丰富度如何影响迁移动态？

主要发现

• 在大型检测数据集上的预训练可以在高 IoU 下提升 Pascal-Voc 目标检测的 mAP，相对于 ImageNet 预训练，提升幅度约为 7.6%（例如在 0.7 IoU 时 OpenImages 的 mAP 达到 81.1%）。
• 检测预训练在 Pascal-Voc 2012 的语义分割上比分类预训练获得约 3% 的增益。
• 在不进行微调的情况下，使用检测特征进行分类时，Caltech-256 的图像分类性能大约下降 8% 。
• 如果两个图像具有相似的检测特征，它们在分类特征上也可能相似，但并非反之。
• 激活可视化显示检测网络使用整图对象表示，而分类网络则聚焦于区分性部位，这影响对遮挡和多实例的鲁棒性。