[论文解读] DP-SSL: Towards Robust Semi-supervised Learning with A Few Labeled Samples

Yi Xu, Jiandong Ding+2 more|arXiv (Cornell University)|Oct 26, 2021

Machine Learning and Data Classification参考文献 56被引用 16

一句话总结

本文提出 DP-SSL，一种新颖的半监督学习方法，通过数据编程实现自动化的多选学习方法，基于未标记数据生成多样化、概率化的标签，显著提升在仅有少量标记样本时的性能。DP-SSL 在仅使用 40 个标记样本的情况下，在 CIFAR-10 上实现了 93.46% 的最先进准确率，通过引入一种具有新颖势函数和无监督正则化的标签模型，有效解决了自动生成的标注函数所产生的噪声标签问题。

ABSTRACT

The scarcity of labeled data is a critical obstacle to deep learning. Semi-supervised learning (SSL) provides a promising way to leverage unlabeled data by pseudo labels. However, when the size of labeled data is very small (say a few labeled samples per class), SSL performs poorly and unstably, possibly due to the low quality of learned pseudo labels. In this paper, we propose a new SSL method called DP-SSL that adopts an innovative data programming (DP) scheme to generate probabilistic labels for unlabeled data. Different from existing DP methods that rely on human experts to provide initial labeling functions (LFs), we develop a multiple-choice learning~(MCL) based approach to automatically generate LFs from scratch in SSL style. With the noisy labels produced by the LFs, we design a label model to resolve the conflict and overlap among the noisy labels, and finally infer probabilistic labels for unlabeled samples. Extensive experiments on four standard SSL benchmarks show that DP-SSL can provide reliable labels for unlabeled data and achieve better classification performance on test sets than existing SSL methods, especially when only a small number of labeled samples are available. Concretely, for CIFAR-10 with only 40 labeled samples, DP-SSL achieves 93.82% annotation accuracy on unlabeled data and 93.46% classification accuracy on test data, which are higher than the SOTA results.

研究动机与目标

• 解决现有半监督学习（SSL）方法在每类仅有少量标记样本时性能差且不稳定的难题。
• 克服传统数据编程中对人工提供标注函数的依赖，通过在 SSL 设置下从零开始自动生成多样化且专业化的标注函数。
• 通过一种能解决噪声标签之间冲突与重叠的鲁棒标签模型，推断概率化标签，从而提升未标记数据的标签质量。
• 通过新颖的正则化方法与标签模型设计，增强在低资源标注场景下的模型鲁棒性与泛化能力。

提出的方法

• 提出一种多选学习（MCL）框架，无需人工提供规则，即可从未标记数据中自动生成标注函数（LFs），利用特征变换提升多样性。
• 在每个 LFs 中引入弃权选项，以缓解预测的过度自信，提升可靠性。
• 设计一种具有新颖势函数和无监督质量引导正则化的标签模型，从噪声大、冲突多的 LFs 中推断概率化标签。
• 将推断出的概率化标签作为弱监督信号，用于训练最终分类器，实现鲁棒的半监督学习。
• 采用加权空间池化机制（特征变换）以增强 LFs 的专业化程度与多样性。
• 将粗略准确率估计作为 LFs 质量的代理指标，假设 LFs 之间相互独立，以简化训练过程。

实验结果

研究问题

• RQ1 能否通过一种自动化、自监督的方法，在无需人工提供规则的情况下，为半监督学习生成高质量的标注函数？
• RQ2 在低样本设置下，与硬伪标签相比，通过多个多样化 LFs 推断出的概率化标签在性能上提升程度如何？
• RQ3 所提出的正则化方法与标签模型设计在有限监督条件下，能在多大程度上提升鲁棒性并降低标签推断的方差？
• RQ4 当每类仅有 40 个标记样本时，DP-SSL 的性能与最先进 SSL 方法相比如何？

主要发现

• 在 CIFAR-10 上仅使用 40 个标记样本时，DP-SSL 在未标记数据上的标注准确率达到 93.82%，显著优于现有 SSL 方法。
• 在相同的 CIFAR-10 设置下，DP-SSL 实现了 93.46% 的测试分类准确率，创下新的最先进结果。
• 消融实验表明，结合特征变换的 MCL（实验3）性能最高（标注准确率达 93.82%），优于未使用 MCL 或未使用特征变换的配置。
• 正则化方法降低了性能方差，提升了鲁棒性，尤其在标记数据稀缺时表现显著，低样本设置下持续获得性能增益。
• 超参数分析显示，在 K=50 个标注函数和 ρ=0.2 的专业化比例下性能最优，且在不同参数变化下结果稳定。
• 当标记样本从 250 个减少到 40 个时，DP-SSL 的错误率仅增加 1.76%，而现有方法的错误率急剧上升（最高达 36.49%）。