[论文解读] An Overview of Deep Semi-Supervised Learning

Yassine Ouali, Céline Hudelot+1 more|arXiv (Cornell University)|Jun 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 183被引用 243

一句话总结

本文对深度半监督学习（SSL）进行了全面综述，概述了主要的 SSL 分类、核心假设、评估实践以及与相关主题的联系。

ABSTRACT

Deep neural networks demonstrated their ability to provide remarkable performances on a wide range of supervised learning tasks (e.g., image classification) when trained on extensive collections of labeled data (e.g., ImageNet). However, creating such large datasets requires a considerable amount of resources, time, and effort. Such resources may not be available in many practical cases, limiting the adoption and the application of many deep learning methods. In a search for more data-efficient deep learning methods to overcome the need for large annotated datasets, there is a rising research interest in semi-supervised learning and its applications to deep neural networks to reduce the amount of labeled data required, by either developing novel methods or adopting existing semi-supervised learning frameworks for a deep learning setting. In this paper, we provide a comprehensive overview of deep semi-supervised learning, starting with an introduction to the field, followed by a summarization of the dominant semi-supervised approaches in deep learning.

研究动机与目标

• 解释深度 SSL 的动机及其对数据效率的目标。
• 总结在深度神经网络中使用的主导 SSL 方法。
• 阐明 SSL 方法背后的主要假设及其含义。
• 讨论评估实践以及对 SSL 研究的现实基线。
• 概述与相关领域的联系，如主动学习、迁移学习和领域自适应。

提出的方法

• 将 SSL 方法分为主要类别：一致性正则化、代理标签方法、生成模型和基于图的方法。
• 描述转导学习与归纳学习范式及它们与 SSL 的相关性。
• 详细介绍代表性的 SSL 技术，包括 Ladder Networks、Pi-Model、Temporal Ensembling、Mean Teacher、Dual Students、SWA/fast-SWA 以及 Virtual Adversarial Training (VAT)。
• 解释将无监督的一致性损失与有标签数据的监督损失耦合在一起的核心目标函数表达。
• 总结评估建议，以实现公平比较和现实的 SSL 基准测试。

实验结果

研究问题

• RQ1 主导的深度 SSL 方法是什么，它们在概念和技术上有何区别？
• RQ2 在深度学习中，SSL 方法有效性的假设有哪些，以及在何时成立？
• RQ3 应如何评估 SSL 方法以确保公平比较和现实世界的相关性？
• RQ4 SSL 技术如何与主动学习、迁移学习以及领域自适应等相关领域相关联并集成？

主要发现

• SSL 方法利用未标注数据对训练进行正则化并在簇结构、平滑性和流形假设下改进决策边界。
• 存在一系列技术（一致性正则化、代理标签、生成、基于图的方法），并具备归纳与转导变体。
• 代表性方法（Ladder Networks、Pi-Model、Temporal Ensembling、Mean Teacher、Dual Students、SWA、VAT）展示了如何通过一致性和教师-学生框架来利用未标注数据。
• 评估最佳实践包括共享实现、强监督基线、与迁移学习的比较，以及考虑类别分布不匹配与数据划分。
• 该综述将 SSL 与主动学习、迁移学习、领域自适应以及弱监督学习联系起来，强调实际考虑因素，如噪声标签和数据质量。