[论文解读] A Survey on Deep Semi-supervised Learning

Xiangli Yang, Zixing Song+2 more|arXiv (Cornell University)|Feb 28, 2021

Multimodal Machine Learning Applications参考文献 307被引用 33

一句话总结

本综述将深度半监督学习（DSSL）方法进行分类与评述，覆盖五大类与52种代表性方法，并讨论挑战与未来方向。

ABSTRACT

Deep semi-supervised learning is a fast-growing field with a range of practical applications. This paper provides a comprehensive survey on both fundamentals and recent advances in deep semi-supervised learning methods from perspectives of model design and unsupervised loss functions. We first present a taxonomy for deep semi-supervised learning that categorizes existing methods, including deep generative methods, consistency regularization methods, graph-based methods, pseudo-labeling methods, and hybrid methods. Then we provide a comprehensive review of 52 representative methods and offer a detailed comparison of these methods in terms of the type of losses, contributions, and architecture differences. In addition to the progress in the past few years, we further discuss some shortcomings of existing methods and provide some tentative heuristic solutions for solving these open problems.

研究动机与目标

• 总结深度半监督学习（DSSL）的基本理论与最新进展。
• 提供 DSSL 方法的分类体系，并将代表性方法映射到各类别。
• 按损失类型、架构和贡献对方法进行比较。
• 识别未解决的问题，并为未来工作提出启发式方向。

提出的方法

• 提出 DSSL 方法的分类体系：生成式、一致性正则化、基于图的方法、伪标签以及混合方法。
• 对这五大类中的52种代表性方法进行调研，比较损失、架构和贡献。
• 讨论推动 DSSL 发展的未解决问题及启发式解决方案。
• 回顾背景、假设和数据集，以支撑讨论。
• 突出与相关范式及在计算机视觉与自然语言处理中的应用之间的联系。

实验结果

研究问题

• RQ1 深度半监督学习的主要类别有哪些，它们在模型设计与损失形式上有何不同？
• RQ2 在损失、架构选择和经验贡献方面，代表性 DSSL 方法的比较如何？
• RQ3 DSSL 的关键未解决问题及可能的解决方向是什么？

主要发现

• DSSL 方法分为五大类：生成式、一致性正则化、基于图、伪标签和混合方法。
• 本综述评估了52种代表性 DSSL 方法，并在损失类型和架构方面进行了比较。
• 基于GAN和基于VAE的生成方法在利用未标注数据进行半监督学习方面具有突出地位。
• 一致性正则化和伪标签策略在许多现代方法中被强调为有效。
• 本文讨论了不足之处并提出未来研究的启发式方向。