[论文解读] Instance Localization for Self-supervised Detection Pretraining

Ceyuan Yang, Zhirong Wu+2 more|arXiv (Cornell University)|Feb 16, 2021

Domain Adaptation and Few-Shot Learning参考文献 43被引用 8

一句话总结

本文提出实例定位（Instance Localization, InsLoc），一种自监督的预训练掩码任务，通过将边界框标注整合到预训练过程中，以提升目标检测的迁移性能。通过在背景图像上以不同尺度和位置粘贴物体实例，并利用边界框引导模型预测实例类别，该方法增强了检测任务的特征对齐，实现了在 PASCAL VOC 和 COCO 上的最先进结果，尤其在低数据设置下表现更优。

ABSTRACT

Prior research on self-supervised learning has led to considerable progress on image classification, but often with degraded transfer performance on object detection. The objective of this paper is to advance self-supervised pretrained models specifically for object detection. Based on the inherent difference between classification and detection, we propose a new self-supervised pretext task, called instance localization. Image instances are pasted at various locations and scales onto background images. The pretext task is to predict the instance category given the composited images as well as the foreground bounding boxes. We show that integration of bounding boxes into pretraining promotes better task alignment and architecture alignment for transfer learning. In addition, we propose an augmentation method on the bounding boxes to further enhance the feature alignment. As a result, our model becomes weaker at Imagenet semantic classification but stronger at image patch localization, with an overall stronger pretrained model for object detection. Experimental results demonstrate that our approach yields state-of-the-art transfer learning results for object detection on PASCAL VOC and MSCOCO.

研究动机与目标

• 解决自监督图像分类预训练与下游目标检测任务之间的特征错位问题。
• 通过将预训练任务与检测任务的特定需求（如空间定位）对齐，提升目标检测的迁移学习性能。
• 探究在自监督预训练过程中引入边界框监督是否能增强特征对齐与检测泛化能力。
• 评估在边界框上应用空间抖动增强对表征学习的改善效果。
• 证明牺牲 ImageNet 分类准确率可通过更优的任务与网络架构对齐，实现更强的目标检测性能。

提出的方法

• 通过在背景图像上以不同尺度、宽高比和位置粘贴物体实例（前景裁剪图）生成合成训练图像。
• 利用基于真实边界框的 RoIAlign 提取区域感兴趣特征（RoI features），并在对比学习框架下进行模型训练。
• 预训练任务为从合成图像及其对应边界框中预测实例类别，以促进具有空间感知能力的表征学习。
• 通过从一组区域提议锚点中采样，对边界框应用空间抖动增强，以提升特征的鲁棒性与对齐性。
• 该方法在 MoCo-v2 框架中实现，采用动量对比进行自监督学习。
• 通过在下游检测模型中使用相同的主干网络（如 ResNet50-C4 或 ResNet50-FPN），保持了迁移过程中的架构一致性。

实验结果

研究问题

• RQ1 将边界框标注整合到自监督预训练中是否能提升目标检测的迁移性能？
• RQ2 一种强调定位而非整体图像分类的预训练任务，是否能带来更好的检测泛化能力？
• RQ3 在预训练过程中对边界框应用空间抖动增强，如何影响特征对齐与检测性能？
• RQ4 所提方法在低样本检测迁移设置下是否具备更优的数据效率？
• RQ5 在分类准确率与检测性能之间的权衡在多大程度上验证了自监督学习中任务对齐的重要性？

主要发现

• 所提的 Instance Localization 方法在 COCO 上使用 R50-C4 时达到 41.1 AP bb，较 MoCo-v2 提升 +1.3 AP bb。
• 在边界框上应用空间抖动增强后，性能进一步提升至 41.4 AP bb，验证了该增强策略的有效性。
• 在 Mini COCO（COCO 训练数据的 10%）上，方法达到 26.0 AP bb 和 23.5 AP mk，较 MoCo-v2 提升 3.3 AP bb 和 2.4 AP mk。
• 尽管其 ImageNet 线性探测准确率低于基线模型，该模型在图像块定位任务中表现更强，且与检测专用特征对齐更优。
• 更长的预训练（400 个周期）可提升检测性能，且在较长预训练周期下持续获得性能增益，表明长期预训练有利于检测迁移。
• 即使在更长的微调周期（如 2x vs 1x）下，预训练模型的相对性能提升仍得以保持，表明其具备鲁棒性与强迁移能力。