[论文解读] A Review on Discriminative Self-supervised Learning Methods in Computer Vision

Nikolaos Giakoumoglou, Tania Stathaki+1 more|arXiv (Cornell University)|May 8, 2024

Face and Expression Recognition被引用 4

一句话总结

本文对计算机视觉中的判别式自监督学习方法进行了全面综述，将方法分类为对比学习、蒸馏、特征去相关性和聚类方法。在ImageNet上的性能评估显示，如MoCo v3、DINO和Mugs等方法在使用ViT主干网络进行线性评估时，top-1准确率超过80%，表明无需人工标注数据即可实现最先进性能。

ABSTRACT

Self-supervised learning (SSL) has rapidly emerged as a transformative approach in computer vision, enabling the extraction of rich feature representations from vast amounts of unlabeled data and reducing reliance on costly manual annotations. This review presents a comprehensive analysis of discriminative SSL methods, which focus on learning representations by solving pretext tasks that do not require human labels. The paper systematically categorizes discriminative SSL approaches into five main groups: contrastive methods, clustering methods, self-distillation methods, knowledge distillation methods, and feature decorrelation methods. For each category, the review details the underlying principles, architectural components, loss functions, and representative algorithms, highlighting their unique mechanisms and contributions to the field. Extensive comparative evaluations are provided, including linear and semi-supervised protocols on standard benchmarks such as ImageNet, as well as transfer learning performance across diverse downstream tasks. The review also discusses theoretical foundations, scalability, efficiency, and practical challenges, such as computational demands and accessibility. By synthesizing recent advancements and identifying key trends, open challenges, and future research directions, this work serves as a valuable resource for researchers and practitioners aiming to leverage discriminative SSL for robust and generalizable computer vision models.

研究动机与目标

• 系统性回顾计算机视觉中的判别式自监督学习方法，重点关注对比学习、蒸馏、特征去相关性和聚类方法。
• 通过分析关键方法组件和训练目标，探讨自监督学习的演变与当前状态。
• 在标准ImageNet分类基准上，通过线性评估和半监督微调协议，对这些方法的性能进行基准测试与比较。
• 突出自监督表示在有限标注数据下匹配或超越监督预训练的有效性。
• 为研究人员提供一份全面指南，以理解自监督学习中方法的异同及性能权衡。

提出的方法

• 本文将自监督学习方法分为四类主要类别：使用实例判别（正样本与负样本视图）的对比学习，使用动量或师生框架的自蒸馏与知识蒸馏，通过不变性与冗余减少损失实现的特征去相关性方法（如Barlow Twins、VICReg），以及使用动量更新和预测头的聚类方法。
• 采用标准ImageNet线性评估协议评估方法，即在冻结的预训练模型提取的特征上训练线性分类器。
• 通过标准协议（如SimCLR和BYOL）评估半监督微调，使用ImageNet中1%和10%的标注数据。
• 分析涵盖基于CNN的主干网络（如ResNet、RegNet）和视觉Transformer（ViT、Swin），性能以top-1和top-5准确率报告。
• 关键技术包括多裁剪增强、动量编码器、内存库以及InfoNCE等对比目标；MoCo v3和DINO等方法使用动量更新和动量键。
• 研究在多个主干网络和数据设置下比较方法，将监督预训练作为性能比较的上限。

(a) SimCLR [ 36 ]

实验结果

研究问题

• RQ1 在ImageNet上进行线性评估时，不同判别式自监督学习方法（对比学习、蒸馏、去相关性、聚类）的性能如何比较？
• RQ2 主干网络架构（CNN与视觉Transformer）对自监督方法性能有何影响？
• RQ3 当仅使用ImageNet中1%或10%的标注数据进行微调时，自监督模型的有效性如何？哪些方法在低数据环境下泛化能力最强？
• RQ4 哪些关键的架构设计与损失函数选择促成了自监督表示学习中的最先进性能？
• RQ5 MoCo v3、DINO和Mugs等方法如何在无人工标注数据的情况下实现高准确率？它们的训练目标有何独特之处？

主要发现

• 使用ViT-Base/16主干网络的DINO在线性评估中达到80.1%的top-1准确率，接近监督预训练的76.5%。
• 使用ViT-Base/16主干网络的Mugs达到82.1%的top-1准确率，在本研究中所有方法中表现最佳。
• 使用ViT-Base/16主干网络的MoCo v3达到76.5%的top-1准确率，表明对比学习方法具有强大性能。
• 使用ViT-Base/16主干网络的TWIST在特征去相关性方法中达到78.4%的top-1准确率，表现优异。
• 使用Swin-T主干网络的SMoG在聚类方法中达到77.7%的top-1准确率，表明该类方法性能强劲。
• 在1%监督微调设置下，C-BYOL达到60.6%的top-1准确率，显著优于仅使用25.4% top-1准确率的监督预训练模型。

(b) MoCo [ 8 ]