[论文解读] A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends

Jie Gui, Tuo Chen+5 more|arXiv (Cornell University)|Jan 13, 2023

Text and Document Classification Technologies被引用 22

一句话总结

对自监督学习（SSL）及其算法（基于上下文的、对比、生成式）、应用、趋势和待解问题的全面综述，聚焦计算机视觉及其相关研究。

ABSTRACT

Deep supervised learning algorithms typically require a large volume of labeled data to achieve satisfactory performance. However, the process of collecting and labeling such data can be expensive and time-consuming. Self-supervised learning (SSL), a subset of unsupervised learning, aims to learn discriminative features from unlabeled data without relying on human-annotated labels. SSL has garnered significant attention recently, leading to the development of numerous related algorithms. However, there is a dearth of comprehensive studies that elucidate the connections and evolution of different SSL variants. This paper presents a review of diverse SSL methods, encompassing algorithmic aspects, application domains, three key trends, and open research questions. Firstly, we provide a detailed introduction to the motivations behind most SSL algorithms and compare their commonalities and differences. Secondly, we explore representative applications of SSL in domains such as image processing, computer vision, and natural language processing. Lastly, we discuss the three primary trends observed in SSL research and highlight the open questions that remain. A curated collection of valuable resources can be accessed at https://github.com/guijiejie/SSL.

研究动机与目标

• 解释 SSL 的动机与定义，以及它与有监督学习和无监督学习的区别。
• 调研代表性的 SSL 伪任务及其与更广泛学习范式的联系。
• 总结对比式、生成式和去相关化为基础的 SSL 方法及其理论基础。
• 突出视觉与语言领域中的核心应用，并讨论新兴趋势与待解问题。

提出的方法

• 将 SSL 分类为基于上下文、对比学习、生成式（MIM）和特征去相关化的方法。
• 描述经典的伪任务，如旋转、着色和拼图，以及它们如何产生自监督信号。
• 解释对比学习框架（MoCo、SimCLR、BYOL、SimSiam、SwAV），包括正/负样本对以及如 InfoNCE 的损失函数形式。
• 详细描述生成式遮盖图像建模（MIM）方法（BEiT, MAE, CAE, SimMIM）及其与去噪自编码器的关系。
• 讨论 SSL 与 PCA、谱聚类以及监督学习结果之间的理论联系。
• 涉及数据增强、Siamese 架构，以及负样本与非负样本（无负样本）方法的作用。）

实验结果

研究问题

• RQ1 主要的 SSL 范式有哪些、它们的核心机制是什么，以及在何种情况下最有效？
• RQ2 伪任务如何转化为在 CV 和 NLP 的下游任务中有用的表示？
• RQ3 对比式 SSL 成功的理论解释是什么，它们如何与 PCA 和谱聚类相关？
• RQ4 跨应用领域的 SSL 开放研究问题与未来方向有哪些？
• RQ5 数据增强和模型架构如何影响 SSL 性能？

主要发现

• SSL 利用大量未标注数据来学习可转移到下游任务的判别特征。
• 对比学习方法（MoCo、SimCLR）依赖正/负样本对和强数据增强来最大化视图一致性。
• 无负样本方法（BYOL、SimSiam）与特征去相关化（Barlow Twins、VICReg）提供不使用显式负样本的替代 SSL 路径。
• 生成/遮盖图像建模（MIM）方法（BEiT、MAE、CAE、SimMIM）通过利用补丁级上下文揭示强表示。
• 本文讨论了 SSL 与 PCA 和谱聚类的理论联系，并强调数据增强和任务设计在下游迁移中的作用。
• 待解问题包括跨模态理解 SSL 动态、改进密集预测任务设计，以及完善理论基础。