[论文解读] DetCo: Unsupervised Contrastive Learning for Object Detection

Enze Xie, Jian Ding+6 more|arXiv (Cornell University)|Feb 9, 2021

Advanced Neural Network Applications被引用 6

一句话总结

DetCo 提出了一种用于目标检测的自监督对比学习框架，通过多层次监督和全局-局部对比学习，同时提升了实例级检测与图像分类性能。该方法实现了最先进（SOTA）的迁移性能，在 COCO 上将 Sparse R-CNN 的 AP 提升至 46.5，且在 ImageNet 图像分类任务上比之前方法高出 6.9% 的 top-1 准确率。

ABSTRACT

Unsupervised contrastive learning achieves great success in learning image representations with CNN. Unlike most recent methods that focused on improving accuracy of image classification, we present a novel contrastive learning approach, named DetCo, which fully explores the contrasts between global image and local image patches to learn discriminative representations for object detection. DetCo has several appealing benefits. (1) It is carefully designed by investigating the weaknesses of current self-supervised methods, which discard important representations for object detection. (2) DetCo builds hierarchical intermediate contrastive losses between global image and local patches to improve object detection, while maintaining global representations for image recognition. Theoretical analysis shows that the local patches actually remove the contextual information of an image, improving the lower bound of mutual information for better contrastive learning. (3) Extensive experiments on PASCAL VOC, COCO and Cityscapes demonstrate that DetCo not only outperforms state-of-the-art methods on object detection, but also on segmentation, pose estimation, and 3D shape prediction, while it is still competitive on image classification. For example, on PASCAL VOC, DetCo-100ep achieves 57.4 mAP, which is on par with the result of MoCov2-800ep. Moreover, DetCo consistently outperforms supervised method by 1.6/1.2/1.0 AP on Mask RCNN-C4/FPN/RetinaNet with 1x schedule. Code will be released at \href{https://github.com/xieenze/DetCo}{\color{blue}{ t github.com/xieenze/DetCo}}.

研究动机与目标

• 为解决自监督表示学习中同时提升实例级检测与图像分类性能的挑战。
• 设计一种先验任务，使模型在不牺牲图像级分类准确率的前提下，实现对密集预测任务的强迁移能力。
• 通过对比学习增强多尺度特征金字塔中特征的判别性与一致性。
• 弥合全局图像级与局部小 patch 级表示之间的差距，以提升检测与分类性能。
• 开发一种简单但高效的预训练框架，在目标检测与图像分类基准上均优于近期面向检测的自监督方法。

提出的方法

• 通过优化主干网络每一阶段的特征，引入多层次监督，以提升特征金字塔各层级的判别能力。
• 采用全局与局部对比学习（GLC），对齐整张图像与裁剪局部 patch 之间的表示，促进跨尺度的一致性。
• 利用对比学习最小化同一图像不同增强视图（正样本）之间的距离，同时最大化不同图像之间（负样本）的距离。
• 在全局图像特征与局部 patch 特征上同时应用对比损失，实现全局与局部表示的联合优化。
• 将多层次监督与 GLC 结合，提升特征金字塔所有阶段的特征质量，从而增强多尺度检测性能。
• 使用标准数据增强（如裁剪、颜色抖动）生成对比学习的正样本视图，无需额外监督。

实验结果

研究问题

• RQ1 一种自监督方法是否能同时在目标检测与图像分类任务上实现最先进（SOTA）性能？
• RQ2 在特征金字塔各阶段施加多层次监督，对检测与分类性能有何影响？
• RQ3 全局-局部对比学习在多大程度上提升了表示的一致性与判别性？
• RQ4 一个统一的先验任务能否有效同时提升实例级检测与图像级分类性能？
• RQ5 与同期面向检测的自监督方法相比，DetCo 在迁移性能方面表现如何？

主要发现

• 在 ImageNet 图像分类任务上，DetCo 达到 68.6% 的 top-1 准确率，显著优于 DenseCL（+6.9%）与 InsLoc（+5.0%），展现出强大的图像级性能。
• 在 COCO 目标检测任务上，DetCo 将 SwAV 与 Mask R-CNN C4 的性能提升 6.9 AP，同时将 Sparse R-CNN 的 AP 从 45.0 AP 提升至 46.5 AP，创下新 SOTA 记录。
• 消融实验证明，多层次监督与全局-局部对比学习的结合在所有主干网络阶段均带来一致的性能增益。
• 消融研究确认，多层次监督与全局-局部对比学习均不可或缺：任一移除均导致性能显著下降。
• DetCo 在语义分割与 DensePose 任务上也保持了优异的迁移能力，表明其在密集预测任务中具有广泛适用性。
• 该方法在检测与分类之间实现了最佳平衡，优于同期面向检测的自监督方法（如 DenseCL、InsLoc 与 PatchReID），在两项指标上均表现更优。