[论文解读] A survey on Semi-, Self- and Unsupervised Techniques in Image Classification.

Lars Schmarje, Monty Santarossa+2 more|arXiv (Cornell University)|Feb 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 104被引用 17

一句话总结

本综述回顾了图像分类中半监督、自监督和无监督学习技术，分析了25种方法，以识别减少标注需求的趋势。研究发现，最先进模型的可扩展性日益增强，所需监督更少，且共享核心思想，未来可通过整合这些原则进一步提升性能。

ABSTRACT

While deep learning strategies achieve outstanding results in computer vision tasks, one issue remains: The current strategies rely heavily on a huge amount of labeled data. In many real-world problems, it is not feasible to create such an amount of labeled training data. Therefore, it is common to incorporate unlabeled data into the training process to reach equal results with fewer labels. Due to a lot of concurrent research, it is difficult to keep track of recent developments. In this survey, we provide an overview of often used ideas and methods in image classification with fewer labels. We compare 25 methods in detail. In our analysis, we identify three major trends. 1. State-of-theart methods are scaleable to real-world applications based on their accuracy. 2. The degree of supervision which is needed to achieve comparable results to the usage of all labels is decreasing. 3. All methods share common ideas while only a few methods combine these ideas to achieve better performance. Based on all of these three trends we discover future research opportunities.

研究动机与目标

• 提供半监督、自监督和无监督图像分类学习方法的全面概述。
• 从性能、可扩展性和标注效率的角度，对比25种近期方法。
• 识别这些方法之间的共同模式与趋势，以指导未来研究。
• 分析实现与完全监督学习相当性能所需监督程度。
• 通过考察共享原则与方法整合中的差距，揭示研究机遇。

提出的方法

• 本综述对25种最先进的半监督、自监督和无监督图像分类方法进行了详细的对比分析。
• 基于其在现实应用中的准确性、可扩展性和标注效率评估方法。
• 识别出数据增强、一致性正则化和对比学习等常见方法论组件，作为共享的基础思想。
• 分析聚焦于方法如何在保持高性能的同时减少对标注数据的依赖。
• 根据监督程度对方法进行分类，并分析其架构与训练策略的差异。
• 综合研究发现，突出监督需求减少和可扩展性增强的趋势。

实验结果

研究问题

• RQ1 在标注数据较少的情况下，哪些半监督、自监督和无监督技术在图像分类中最为有效？
• RQ2 当使用较少标注样本时，当前方法在准确性和可扩展性方面如何比较？
• RQ3 现代方法在不牺牲性能的前提下，多大程度上减少了对标注数据的需求？
• RQ4 高性能弱监督学习方法中共享的核心思想是什么？
• RQ5 如何将现有原则相结合，以进一步提升低监督环境下的性能？

主要发现

• 最先进的半监督和自监督学习方法在可扩展性方面日益增强，适用于现实世界部署。
• 实现与完全监督学习相当性能所需的监督程度正在稳步降低。
• 尽管架构和训练策略各不相同，但大多数高性能方法共享数据增强和一致性正则化等基础思想。
• 仅有少数方法成功结合了多种核心思想，表明通过方法整合可进一步提升性能，潜力尚未被充分挖掘。
• 趋势的汇聚表明，未来研究机遇在于统一半监督和自监督学习框架中的有效原则。