[论文解读] Negative sampling in semi-supervised learning

John Chen, Vatsal Shah+1 more|arXiv (Cornell University)|Nov 12, 2019

Domain Adaptation and Few-Shot Learning参考文献 47被引用 5

一句话总结

本文提出 NS³L，一种简单、快速且易于调优的半监督学习方法，通过添加负采样损失来增强现有 SSL 算法。通过利用未标记数据对低概率类别进行对比惩罚，NS³L 在 CIFAR10、CIFAR100、SVHN 和 STL10 上均提升了性能，即使在极少超参数调优的情况下，也优于原始的 VAT 和 MixMatch。

ABSTRACT

We introduce Negative Sampling in Semi-Supervised Learning (NS3L), a simple, fast, easy to tune algorithm for semi-supervised learning (SSL). NS3L is motivated by the success of negative sampling/contrastive estimation. We demonstrate that adding the NS3L loss to state-of-the-art SSL algorithms, such as the Virtual Adversarial Training (VAT), significantly improves upon vanilla VAT and its variant, VAT with Entropy Minimization. By adding the NS3L loss to MixMatch, the current state-of-the-art approach on semi-supervised tasks, we observe significant improvements over vanilla MixMatch. We conduct extensive experiments on the CIFAR10, CIFAR100, SVHN and STL10 benchmark datasets.

研究动机与目标

• 开发一种简单、快速且易于调优的半监督学习方法，利用未标记数据提升性能。
• 通过有效利用未标记数据，解决深度学习中高标注成本的挑战，且无需复杂模型修改。
• 证明添加负采样损失可显著增强如 VAT 和 MixMatch 等最先进的 SSL 算法。
• 提供一种可解释性强且鲁棒的方法，仅需有限的超参数调优即可保持高性能。

提出的方法

• NS³L 引入一种新损失函数，用于惩罚模型对未标记数据预测的低概率类别。
• 对于每个未标记样本，使用超参数 T 对模型输出的概率进行阈值处理；概率低于 T 的类别被视为负样本。
• NS³L 损失计算为这些低概率类别的负对数似然，促使模型对正确类别分配更高置信度。
• NS³L 损失与现有 SSL 目标（如交叉熵、VAT 或 MixMatch 损失）结合，形成联合优化目标。
• 该方法设计为模块化，可轻松集成到任何现有 SSL 框架中，且计算开销极低。
• 超参数包括用于选择负类别的阈值 T 和用于权衡 NS³L 损失与其他损失相对重要性的 λ₁。

实验结果

研究问题

• RQ1 基于负采样设计的简单模块化损失函数是否能提升半监督学习性能？
• RQ2 NS³L 与最先进的 SSL 方法（如 VAT 和 MixMatch）结合时表现如何？
• RQ3 NS³L 对超参数 T 和 λ₁ 的敏感性在不同数据集和设置下如何？
• RQ4 NS³L 是否在 CIFAR10、CIFAR100、SVHN 和 STL10 等多样化基准上提供一致的性能提升？

主要发现

• 在 CIFAR100 上，使用 10,000 个标注样本时，NS³L 在 VAT 基础上将测试误差降低 0.6%，优于伪标签法和熵最小化方法。
• 在 CIFAR10 上使用 4,000 个标注样本时，NS³L 与 VAT 结合可将测试误差降至 3.38% ± 0.08，优于原始的 VAT 和 MixMatch。
• 在 SVHN 上使用 250 个标注样本时，MixMatch + NS³L 实现 3.38% ± 0.08 的测试误差，优于 MixMatch 的 3.75% ± 0.09。
• 在 STL10 上使用 1,000 个标注样本时，MixMatch + NS³L 将测试误差降低至 21.74% ± 0.33，优于 MixMatch 的 22.20% ± 0.89。
• 经验结果表明，最优阈值 T ≈ 0.04 在具有 10 个类别的数据集中表现稳定，表明对 T 的变化具有鲁棒性。
• NS³L 计算高效，仅使用 NS³L 时运行速度比 VAT 快两倍以上，因其减少了前向/反向传播次数。