[论文解读] A Review of Semi Supervised Learning Theories and Recent Advances

Enmei Tu, Jie Yang|arXiv (Cornell University)|May 28, 2019

Face and Expression Recognition参考文献 40被引用 17

一句话总结

本文全面综述了半监督学习（SSL）的理论与近期进展，涵盖基础原理、关键算法及实际应用。综述时间跨度从21世纪初至2019年，重点阐述在标注数据稀缺时，利用未标注数据如何提升模型泛化能力，并通过真实世界领域的实例加以说明。

ABSTRACT

Semi-supervised learning, which has emerged from the beginning of this century, is a new type of learning method between traditional supervised learning and unsupervised learning. The main idea of semi-supervised learning is to introduce unlabeled samples into the model training process to avoid performance (or model) degeneration due to insufficiency of labeled samples. Semi-supervised learning has been applied successfully in many fields. This paper reviews the development process and main theories of semi-supervised learning, as well as its recent advances and importance in solving real-world problems demonstrated by typical application examples.

研究动机与目标

• 系统性地回顾2000年代初至2019年半监督学习的理论基础及其发展脉络。
• 分析SSL中的关键算法方法，包括一致性正则化、基于图的方法以及伪标签法。
• 突出展示在深度学习架构中推动SSL发展的关键算法创新。
• 通过计算机视觉、自然语言处理和语音识别等领域的代表性案例研究，展示SSL在实际应用中的重要性。
• 为研究人员和从业者提供结构化概述，帮助其理解并应用于现实世界中的机器学习问题。

提出的方法

• 调研基础SSL范式，如归纳推理、流形正则化和一致性训练。
• 将SSL方法分类为归纳式、归纳式和深度SSL，强调其底层假设。
• 分析促使模型在数据增强下保持不变的一致性正则化技术。
• 回顾基于图的SSL方法，利用低维流形中数据的几何结构。
• 研究伪标签策略，即模型为未标注数据生成软标签以优化训练过程。
• 整合深度神经网络与自训练框架的见解，以在极少人工标注下提升泛化能力。

实验结果

研究问题

• RQ1 支撑半监督学习的核心理论原则是什么？它们如何随时间演变？
• RQ2 不同SSL方法（如一致性正则化与基于图的方法）在性能和适用性方面如何比较？
• RQ3 在深度学习架构中，推动SSL发展的关键算法创新有哪些？
• RQ4 在哪些真实世界应用中，SSL相较于完全监督或无监督基线模型展现出可衡量的性能提升？
• RQ5 在扩展SSL以应对现代高维数据分布时，仍存在哪些局限性和开放挑战？

主要发现

• 当标注数据有限时，半监督学习能显著提升模型准确率，尤其在结合数据增强与一致性正则化时效果更佳。
• 基于图的SSL方法能有效利用数据的内在流形结构，在低数据场景下表现出稳健性能。
• 伪标签法与自训练框架在图像分类与语音识别任务中，仅依赖极少人工标注数据即可达到最先进性能。
• 近期深度SSL的进展，如一致性训练与教师平均模型，使得在CIFAR-10等基准测试中，仅使用少量标注样本即可实现强大性能。
• 将SSL与深度神经网络结合，已在计算机视觉与自然语言处理等多个领域被证明有效。
• 尽管已取得进展，但在不确定性估计、分布偏移以及大规模数据集的可扩展性方面仍存在挑战。