[论文解读] A statistical theory of semi-supervised learning

Laurence Aitchison|arXiv (Cornell University)|Aug 13, 2020

Cell Image Analysis Techniques参考文献 8被引用 4

一句话总结

本文提出了一种标准基准（如 CIFAR-10）下数据整理的生成模型，表明半监督学习方法——包括熵最小化、伪标签法和 FixMatch——作为该模型下对数似然的变分下界自然涌现。其核心贡献是为半监督学习提供了严谨的统计基础，从而实现了与贝叶斯方法的整合。

ABSTRACT

We currently lack a solid statistical understanding of semi-supervised learning methods, instead treating them as a collection of highly effective tricks. This precludes the principled combination e.g. of Bayesian methods and semi-supervised learning, as semi-supervised learning objectives are not currently formulated as likelihoods for an underlying generative model of the data. Here, we note that standard image benchmark datasets such as CIFAR-10 are carefully curated, and we provide a generative model describing the curation process. Under this generative model, several state-of-the-art semi-supervised learning techniques, including entropy minimization, pseudo-labelling and the FixMatch family emerge naturally as variational lower-bounds on the log-likelihood.

研究动机与目标

• 为解决当前半监督学习缺乏严谨统计基础的问题，该问题目前被视为一系列启发式技巧。
• 将标准基准（如 CIFAR-10）中的数据整理过程形式化为一个生成模型。
• 表明已确立的半监督学习技术在该模型下自然地作为变分下界出现。
• 通过将半监督学习表述为基于似然的生成模型，实现其与贝叶斯推断的严谨整合。

提出的方法

• 提出一个生成模型，描述标准图像数据集（如 CIFAR-10）如何被整理，包含选择与标注过程。
• 将半监督学习目标形式化为在生成模型下观测数据对数似然的变分下界。
• 证明熵最小化、伪标签法和 FixMatch 是该下界特定近似形式的对应结果。
• 利用生成模型推导半监督目标与不确定性下概率推断之间的联系。
• 表明优化变分下界可在半监督学习设置中取得最先进性能。

实验结果

研究问题

• RQ1 如何将半监督学习方法正式建立在一个统计生成模型之上？
• RQ2 CIFAR-10 等基准中数据整理的底层过程是什么，能够解释当前半监督学习技术的成功？
• RQ3 熵最小化与伪标签法能否被推导为单一严谨目标的近似？
• RQ4 FixMatch 等方法在多大程度上能自然地从统一的概率框架中涌现？

主要发现

• 表明熵最小化与伪标签法等半监督学习方法是生成模型下对数似然变分下界的自然近似。
• FixMatch 系列方法也作为该变分下界的一个特例出现，提供了统一的统计解释。
• 数据整理的生成模型解释了为何这些方法在 CIFAR-10 等基准上有效，因为这些数据经过精心整理。
• 该框架实现了半监督学习与贝叶斯推断的严谨结合，因为该方法现在基于似然模型。