[论文解读] CLS: Cross Labeling Supervision for Semi-Supervised Learning

Yao Yao, Junyi Shen+3 more|arXiv (Cornell University)|Feb 17, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出交叉标签监督（Cross Labeling Supervision, CLS），一种半监督学习框架，通过引入互补标签和两个独立初始化网络之间的协同训练，缓解确认偏差问题，提升伪标签质量。通过基于预测置信度的自适应样本权重分配，实现相互监督，CLS在CIFAR-10和CIFAR-100上取得当前最优性能，优于现有方法（包括FixMatch）。

ABSTRACT

It is well known that the success of deep neural networks is greatly attributed to large-scale labeled datasets. However, it can be extremely time-consuming and laborious to collect sufficient high-quality labeled data in most practical applications. Semi-supervised learning (SSL) provides an effective solution to reduce the cost of labeling by simultaneously leveraging both labeled and unlabeled data. In this work, we present Cross Labeling Supervision (CLS), a framework that generalizes the typical pseudo-labeling process. Based on FixMatch, where a pseudo label is generated from a weakly-augmented sample to teach the prediction on a strong augmentation of the same input sample, CLS allows the creation of both pseudo and complementary labels to support both positive and negative learning. To mitigate the confirmation bias of self-labeling and boost the tolerance to false labels, two different initialized networks with the same structure are trained simultaneously. Each network utilizes high-confidence labels from the other network as additional supervision signals. During the label generation phase, adaptive sample weights are assigned to artificial labels according to their prediction confidence. The sample weight plays two roles: quantify the generated labels' quality and reduce the disruption of inaccurate labels on network training. Experimental results on the semi-supervised classification task show that our framework outperforms existing approaches by large margins on the CIFAR-10 and CIFAR-100 datasets.

研究动机与目标

• 为解决基于自训练的半监督学习中的确认偏差问题，即错误伪标签导致模型性能下降。
• 通过引入互补标签实现负样本学习，提升模型对噪声人工标签的鲁棒性。
• 通过两个独立初始化网络之间的协同训练，降低对高置信度伪标签的依赖。
• 通过基于预测置信度的自适应样本权重分配，提升人工标签的泛化能力。
• 在标准半监督图像分类基准上实现当前最优性能。

提出的方法

• CLS在FixMatch基础上扩展，引入两个并行、独立初始化的网络，相互生成伪标签和互补标签。
• 每个网络将另一网络的高置信度预测作为额外监督信号，实现协同训练，从而减少确认偏差。
• 互补标签通过另一网络输出中置信度最低的top-k类别生成，支持负样本学习。
• 基于预测置信度为人工标签分配自适应样本权重，降低低置信度或错误标签的影响。
• 框架结合了一致性正则化与伪标签学习，训练时使用强增强，标签生成时使用弱增强。
• 训练过程交替更新两个网络，结合有标签数据、伪标签和互补标签，并采用基于置信度的加权策略。

实验结果

研究问题

• RQ1 两个独立训练网络之间的相互监督是否能有效减少半监督学习中的确认偏差？
• RQ2 互补标签的引入在多大程度上提升了模型对噪声伪标签的鲁棒性？
• RQ3 基于预测置信度的自适应样本加权在多大程度上增强了训练的稳定性和性能？
• RQ4 在低数据量场景下，与标准伪标签方法相比，使用互补标签的协同训练是否能带来更好的泛化性能？
• RQ5 在标准基准上，CLS与FixMatch、MixMatch等当前最优方法相比表现如何？

主要发现

• 在CIFAR-10上，CLS在标准半监督学习设置下显著优于FixMatch，达到当前最优性能。
• 在CIFAR-100上，CLS的准确率优于现有方法，展现出在高维标签空间中的强大泛化能力。
• 互补标签与协同训练的结合显著降低了低置信度伪标签的负面影响，提升了模型鲁棒性。
• 基于置信度的自适应样本加权能有效抑制训练过程中错误标签的影响。
• 双网络协同训练机制具有正则化效果，稳定了学习过程并提升了收敛性。
• 实验结果表明，CLS在多次运行和不同数据划分下均一致提升性能，表现出高度可靠性。