[论文解读] Improvability Through Semi-Supervised Learning: A Survey of Theoretical Results

Alexander Mey, Marco Loog|arXiv (Cornell University)|Aug 26, 2019

Machine Learning and Data Classification参考文献 65被引用 10

一句话总结

本综述对半监督学习（SSL）进行了全面的理论分析，探讨了在何种条件下未标记数据能够提升分类与回归任务的泛化性能。该研究识别了各种SSL方法所依赖的假设，量化了在假设成立时的性能增益，并指出在某些情况下，SSL 可以实现 PAC-可学习性，而监督学习则无法做到。

ABSTRACT

Semi-supervised learning is a setting in which one has labeled and unlabeled data available. In this survey we explore different types of theoretical results when one uses unlabeled data in classification and regression tasks. Most methods that use unlabeled data rely on certain assumptions about the data distribution. When those assumptions are not met in reality, including unlabeled data may actually decrease performance. Studying such methods, it therefore is particularly important to have an understanding of the underlying theory. In this review we gather results about the possible gains one can achieve when using semi-supervised learning as well as results about the limits of such methods. More precisely, this review collects the answers to the following questions: What are, in terms of improving supervised methods, the limits of semi-supervised learning? What are the assumptions of different methods? What can we achieve if the assumptions are true? Finally, we also discuss the biggest bottleneck of semi-supervised learning, namely the assumptions they make.

研究动机与目标

• 系统性地梳理半监督学习中的理论成果，以理解未标记数据在何时以及为何能提升学习性能。
• 阐明不同 SSL 方法所作假设及其对学习速率与样本复杂度的影响。
• 研究 SSL 的理论极限，包括 SSL 在某些情况下可实现对监督学习的无界性能提升的情形。
• 分析当假设被违反时引入未标记数据的风险，并识别出 SSL 可被保证不会降低性能的条件。
• 将理论发现与研究人员和实践者在真实世界场景中应用 SSL 的实际意义相联系。

提出的方法

• 使用 PAC-学习框架，形式化定义监督学习与半监督学习的样本复杂度与学习速率。
• 将监督学习的样本复杂度 $ m(H, \epsilon, \delta) $ 与半监督学习的样本复杂度 $ m^{\text{SSL}}(H, \epsilon, \delta) $ 进行比较，以量化性能增益。
• 根据假设强度对 SSL 方法进行分类：无假设、弱假设（学习速率 $ \sim 1/\sqrt{n} $）和强假设（指数收敛 $ \sim e^{-n} $）。。
• 回顾在转换设置中被证明始终不劣于监督基线的方法。
• 分析在不同数据分布假设下的理论保证，包括边缘分布 $ P(X) $ 在提升泛化性能中的作用。
• 引入并讨论“可改进性”（improvability）的概念——即在即使拥有无限标记数据的情况下，SSL 也能学习监督学习无法解决的问题。

实验结果

研究问题

• RQ1 在何种条件下，半监督学习能够实现对监督学习的、理论上无界的性能提升？
• RQ2 当 SSL 关于数据分布的底层假设被违反时，其理论极限是什么？
• RQ3 弱假设、强假设或无假设等不同假设如何影响 SSL 中的学习速率与样本复杂度？
• RQ4 能否构建出在理论上保证不劣于其监督对应方法的半监督学习器？
• RQ5 未标记数据在何种情况下能促成监督学习失败场景下的 PAC-可学习性？

主要发现

• 存在某些情形，使得半监督学习能够 PAC-可学习一个监督学习即使在拥有无限标记数据的情况下也无法学习的问题，从而证明了无界的可改进性。
• 当强假设关于数据分布成立时，SSL 可实现指数级学习速率 $ \sim e^{-n} $，远快于监督学习的标准 $ 1/\sqrt{n} $ 速率。
• 在弱假设下，SSL 通过常数因子提升性能，但不会使学习速率超过 $ 1/\sqrt{n} $，即监督学习的标准速率。
• 在无任何假设的情况下，引入未标记数据可能降低性能，且不存在理论保证性能会提升。
• 有一系列研究构建了在理论上始终不劣于其监督对应方法的半监督学习器，为实际部署提供了安全保障。
• 理论分析表明，SSL 的主要瓶颈并非算法本身，而是对数据分布假设的有效性。